Cuando la IA inventa leyes… y los jueces las citan: qué nos enseña el caso chileno

El titular de Veredictum.cl –«Jueces citan leyes falsas de IA sin consecuencias»– condensa un fenómeno que se ha repetido en varias jurisdicciones: resoluciones que incorporan referencias normativas o jurisprudenciales inexistentes porque, en algún momento del trabajo, se ha utilizado un asistente de IA generalista sin el contraste mínimo con las fuentes oficiales. En la práctica, el problema no es que la tecnología se equivoque (algo previsible en modelos generativos), sino que no existan barreras organizativas ni culturales que impidan que ese error llegue al texto de una sentencia. Que además ocurra sin consecuencias disciplinarias consolida la sensación de que el uso irresponsable de estas herramientas aún está, de facto, desregulado.

Si se mira con calma, el caso chileno ilustra tres fallos concatenados. Primero, la elección de herramientas inadecuadas: sistemas generalistas, entrenados para ser versátiles, no para ofrecer trazabilidad jurídica exhaustiva, y que pueden "inventar" artículos, doctrina o precedentes que no figuran en ninguna base normativa. Segundo, la ausencia de protocolos internos claros en juzgados y tribunales sobre qué puede encargarse a la IA y qué no. Tercero, una cultura profesional que, en algunos casos, sigue tratando la salida de la máquina como si fuera un dictamen fiable por defecto, en vez de como un borrador sujeto a comprobación rigurosa. No es un problema abstracto: cuando esas carencias confluyen en una resolución judicial, el riesgo se proyecta directamente sobre la tutela judicial efectiva.

En este contexto, es útil contrastar esa realidad con el modelo de uso que proponen algunas soluciones específicas para el sector legal. HAL9000, por ejemplo, se define contractualmente como «un sistema de asistencia profesional» para investigación jurídica, análisis documental y elaboración o revisión de documentos, destinado a abogados y otros profesionales del Derecho. Sus propios términos de servicio insisten en que no sustituye el criterio profesional, no toma decisiones jurídicas y no constituye asesoramiento autónomo: la última palabra y la verificación de resultados corresponden siempre al usuario humano. Este planteamiento no es retórico; está incorporado como límite de uso, de forma que incluso el eventual acceso por jueces o magistrados se restringe a tareas auxiliares (búsqueda, organización, anonimización…), excluyendo expresamente que el sistema interprete o aplique el Derecho a hechos concretos o influya materialmente en una resolución.

La otra diferencia relevante con respecto a la imagen habitual de la IA "en la nube" tiene que ver con dónde se ejecuta el sistema y qué ocurre con los datos. HAL9000 se ofrece como IA jurídica privada para despachos y profesionales, con infraestructura propia en España y sin cesión operativa de las consultas a plataformas generalistas. Su auditoría pública de privacidad describe una arquitectura en la que el procesamiento de documentos, OCR, embeddings, búsqueda y transcripción se realiza dentro del entorno privado del cliente, con cifrado en reposo, eliminación física de archivos tras su indexación y mecanismos de purga por identificador. No se registran contenidos sensibles en los logs y el motor de inferencia se configura sin guardar prompts ni respuestas. Este enfoque no garantiza por sí mismo la corrección jurídica de cada salida –nada puede relevar al profesional de revisar–, pero sí reduce radicalmente el vector de riesgo ligado a la circulación incontrolada de expedientes por servicios de terceros.

Quizá la aportación más llamativa, tratándose de un asistente de IA, es la insistencia en la trazabilidad documental. Frente a los modelos que contestan sin mostrar de dónde extraen lo que afirman, HAL9000 se ha sometido a una evaluación extremo a extremo que no mide solo la calidad de la respuesta, sino la capacidad de la interfaz para acompañar cada afirmación de una cita visible y de un acceso efectivo a la fuente. En una muestra de 120 consultas jurídicas, se verificó que las 794 citas visibles abrían correctamente 794 fuentes documentales desde la propia herramienta. La propia documentación de AbogaTIC matiza que esto no prueba, por sí solo, un soporte semántico perfecto, pero sí aporta una señal de robustez y limita la opacidad: disminuye la probabilidad de que un profesional se encuentre ante una referencia “fantasma”, sin rastro en el texto legal o jurisprudencial de apoyo.

Para el ecosistema jurídico español –despachos, asesorías internas y, con especial prudencia, la propia Administración de Justicia–, el caso chileno y la respuesta tecnológica de soluciones como HAL9000 permiten extraer algunas conclusiones prácticas. Primero, que la cuestión central ya no es si usar IA, sino cómo y con qué límites: la finalidad prevista y la distribución de responsabilidades deben quedar claras desde el contrato, las guías internas y la propia interfaz de la herramienta. Segundo, que la elección tecnológica no es neutra: trabajar sobre servidores propios en España, sin subcontratar la inferencia a modelos generalistas externos, con cifrado, minimización y control de logs, condiciona de forma sustantiva el riesgo de exposición del dato. Y tercero, que la trazabilidad y la revisabilidad de las fuentes no son un lujo, sino una salvaguarda elemental cuando las salidas de la IA pueden influir en escritos, dictámenes o borradores de resolución.

En definitiva, la lección que deja la crónica de Veredictum.cl no es demonizar la IA, sino rechazar su uso sin metodología ni garantías. Las herramientas generalistas, sin fuentes visibles ni límites de uso claros, son un terreno especialmente propicio para que surjan "leyes inventadas"; los sistemas diseñados expresamente para el trabajo jurídico, ejecutados en infraestructura controlada y sometidos a supervisión humana exigente, permiten un uso más responsable y alineado con las exigencias de la profesión. Cuanto antes asuma el sector jurídico que la adopción de IA exige esta clase de decisiones informadas –sobre tecnología, privacidad, trazabilidad y rol del profesional–, menos espacio quedará para episodios como los que hoy protagonizan los titulares.

Puedes leer la noticia original completa en Veredictum.cl, «Jueces citan leyes falsas de IA sin consecuencias», disponible en el diario jurídico chileno Veredictum: https://veredictum.cl