Primer laudo arbitral anulado por citas inexistentes: una señal de alarma sobre la IA jurídica "opaca"

La noticia de Idealex.press sobre el primer laudo arbitral anulado por apoyarse en citas inexistentes generadas con inteligencia artificial es un aviso serio para la comunidad jurídica. No hablamos ya de un simple borrador defectuoso, sino de una resolución que pierde validez porque su fundamentación descansa en referencias que, una vez contrastadas, no existen. Este desenlace no es fruto de la mera presencia de IA, sino del modo en que se la ha utilizado: como una especie de oráculo al que se le pregunta, se copia lo que devuelve y se le otorga más confianza de la que merece, sin la verificación que exige cualquier trabajo jurídico riguroso.

En el fondo, el caso ilustra un fenómeno que muchos despachos y órganos decisores están experimentando: la presión por “usar IA” cuanto antes, a menudo a través de plataformas generalistas muy potentes en lenguaje natural, pero que no han sido diseñadas específicamente para Derecho. En estos modelos, ampliamente reconocidos por su utilidad general, es técnicamente posible que se inventen artículos, sentencias o doctrinas que suenan plausibles pero no tienen un anclaje documental real. Cuando ese comportamiento se traslada sin filtros a un laudo, una sentencia o un dictamen, el problema deja de ser tecnológico y pasa a ser estrictamente jurídico y deontológico.

Desde AbogaTIC hemos defendido siempre que, en entornos jurídicos, la cuestión central no es si se usa IA, sino qué tipo de IA se está usando, en qué condiciones y con qué límites. HAL9000.Legal nace precisamente de esa premisa: se trata de una IA jurídica privada para profesionales del Derecho, con infraestructura propia en España, sin APIs externas y sin cesión de datos a terceros. El objetivo es que los expedientes reales –con toda su sensibilidad– se procesen en entornos controlados, reduciendo al mínimo la exposición de la información y evitando enviar contenidos del caso a grandes plataformas generalistas fuera del control del despacho o del órgano que la utiliza.

Este enfoque se traslada también a la finalidad jurídica del sistema. Los Términos y Condiciones de HAL9000.Legal son claros: es una herramienta de asistencia profesional para investigación jurídica, recuperación y análisis documental, consulta de legislación y jurisprudencia, y elaboración y revisión de documentación jurídica. Se destina a abogados y otros profesionales como apoyo bajo su criterio y supervisión, y se precisa que no sustituye la valoración profesional del usuario ni constituye asesoramiento jurídico autónomo. De forma aún más estricta, se excluye que autoridades judiciales la usen para adoptar resoluciones, valorar pruebas o interpretar y aplicar el Derecho a un conjunto concreto de hechos en el ejercicio de la función jurisdiccional.

En la práctica, esto significa que incluso cuando jueces, magistrados u otros operadores de la Administración de Justicia se acercan a la herramienta, su uso legítimo queda limitado a tareas auxiliares: consulta y recuperación de información, búsqueda documental, anonimizaciones, organización de expedientes y otras actividades preparatorias que no influyen materialmente en el resultado de una decisión. Esta acotación no es solo una cláusula contractual; es un mecanismo de gobernanza tecnológica: limita la tentación de delegar juicios jurídicos de fondo en una IA y recuerda que la responsabilidad última recae siempre en la persona que firma la resolución o el informe.

El otro gran vector en el que se diferencia HAL9000 de los asistentes generalistas es la trazabilidad. En la web de AbogaTIC se explica que el sistema trabaja con fuentes revisables y proporciona citas verificables, mapa de fuentes e índice de entidades, de manera que el profesional puede seguir el fundamento jurídico de lo que está leyendo, localizar los protagonistas del expediente y comprobar las referencias. No se trata de confiar ciegamente en la respuesta, sino de disponer de una ruta clara para auditarla. Para contrastar este enfoque con datos, hemos sometido el sistema a un benchmark end‑to‑end, no sobre una API aislada, sino sobre la interfaz real vista por el abogado: en una muestra de 120 consultas, HAL9000 mostró 794 citas visibles y, desde la propia interfaz, se comprobó que las 794 fuentes se abrían correctamente. La propia auditoría recuerda que esta trazabilidad no demuestra por sí sola soporte semántico perfecto, pero sí aporta una señal fuerte de robustez documental, reduce la opacidad y evita que una afirmación llegue al usuario sin fuente visible y revisable.

Cuando se observa el caso del laudo arbitral anulado a la luz de estos elementos –privacidad, límites de uso, trazabilidad– se entiende mejor por qué no todas las implementaciones de IA en Derecho son equivalentes. Una herramienta que mezcla con facilidad alegaciones, antecedentes y fallo, o que improvisa referencias sin visibilidad documental, puede resultar cómoda para redactar rápidamente, pero supone un riesgo objetivo si se la deja actuar sin control. En cambio, un sistema diseñado para no inventar lo que no consta en el texto, para separar hechos, alegaciones, fundamentos y fallo, y para reconocer sus propios límites, no elimina todo error, pero sí reduce la probabilidad de que ese error llegue camuflado como una cita inexistente incrustada en la motivación de una resolución.

En términos de arquitectura, la auditoría de privacidad de HAL9000 describe un entorno orientado al control estricto del dato: interfaz web local, secretos y endpoints internos fuera del navegador, procesamiento de OCR, embeddings, búsqueda y transcripción dentro del entorno privado del cliente, cifrado en reposo de los volúmenes de subida y eliminación física de los archivos una vez indexados. El sistema utiliza modelos open‑source servidos en infraestructura local, sin canal de envío a terceros ni uso de los datos para entrenamiento externo. No se registran contenidos sensibles en logs y la retención está gobernada por mecanismos de purga. Este tipo de diseño no garantiza que ninguna respuesta contenga errores –ninguna IA puede ofrecer tal garantía–, pero sí establece una base de confianza en cómo se tratan los datos y qué huella deja cada operación.

En el plano del razonamiento jurídico, HAL9000 parte de un modelo base de alto nivel pero incorpora post‑entrenamiento interno propio para adaptarlo al trabajo jurídico, con el objetivo declarado de trabajar con más prudencia, más fidelidad al texto y menos errores críticos. Se entrena al sistema para no inventar lo que no consta, para separar con claridad los distintos planos de un asunto (hechos, alegaciones, fundamentos, fallo) y para reconocer sus límites. De nuevo, esto no convierte al sistema en infalible ni exime al abogado de revisar, pero sí configura una herramienta que, por diseño, tiende menos a la improvisación característica de la IA generalista y más al estilo de razonamiento que un profesional puede auditar.

La conclusión que deja el primer laudo anulado por citas inexistentes no es que debamos cerrar la puerta a la IA en el arbitraje o en la jurisdicción, sino que necesitamos usarla con el mismo nivel de exigencia que aplicamos a cualquier fuente jurídica. Eso pasa por tres ideas sencillas: saber qué herramienta estamos usando y dónde residen nuestros datos; exigir trazabilidad y fuentes revisables en aquello que vaya a influir en el razonamiento jurídico; y recordar que ninguna plataforma, por sofisticada que sea, puede sustituir el criterio y la responsabilidad de quien firma. La IA puede –y debe– ayudarnos a manejar mejor la complejidad, pero no puede convertirse en el atajo que degrada el juicio jurídico hasta el punto de hacer decaer un laudo.

La noticia completa sobre la anulación del laudo arbitral por citas inexistentes puede leerse en Idealex.press, en la pieza «Primer laudo arbitral anulado por citas inexistentes: cuando la IA decide y el juicio jurídico se degrada», disponible en https://idealex.press.