Cuando la IA entra en los juzgados: riesgos, límites y una forma más prudente de usarla

El debate que sugiere la noticia de RTPA no es tecnológico, sino jurídico y organizativo. Cuando se habla de «mal uso» de la inteligencia artificial en la justicia, el problema suele concentrarse en tres frentes: (i) la generación de contenido no veraz o inexacto que termina infiltrándose en sentencias o escritos; (ii) la opacidad sobre qué herramientas se han empleado y con qué criterios; y (iii) la exposición innecesaria de datos sensibles a plataformas generalistas situadas fuera de nuestro control. El resultado puede ser perverso: decisiones peor fundamentadas, incremento de litigiosidad y una erosión de la confianza en el sistema justo en el momento en que más necesitaríamos seguridad jurídica.

En este contexto, la reacción lógica no es demonizar cualquier uso de IA, sino acotarlo. Un primer eje es la finalidad: que el sistema se conciba y se utilice como herramienta de apoyo bajo criterio profesional, nunca como sustituto de la valoración jurídica del abogado o del juez. En el caso de HAL9000.Legal, sus propios Términos dejan claro que se trata de un asistente para investigación, recuperación y análisis documental, consulta de legislación y jurisprudencia y elaboración o revisión de documentación jurídica. Está destinado a profesionales del Derecho y no a adoptar decisiones, valorar pruebas o aplicar el Derecho a hechos concretos en el ejercicio de la función jurisdiccional. Incluso cuando lo usan jueces o magistrados, el uso admisible se restringe a tareas auxiliares (búsqueda, organización, anonimización) que no influyan materialmente en el resultado de una decisión.

El segundo eje es el modelo operativo y de datos. Una parte relevante de los riesgos que subyacen al «mal uso» de la IA en justicia tiene que ver con plataformas que envían información sensible a servicios externos y la retienen para fines propios. Frente a ello, la arquitectura descrita en la auditoría de privacidad de HAL9000 está pensada para operar en un entorno privado del cliente, con procesamiento local de documentos jurídicos y control estricto de los datos. La infraestructura se despliega en España, sin cesión operativa de las consultas a plataformas generalistas y sin canal de envío a terceros ni uso de los datos para entrenamiento externo. Los adjuntos se cifran en reposo, se eliminan físicamente tras la indexación y existen mecanismos de purga por identificador, mientras que los modelos open‑source se sirven en infraestructura local, con el motor de inferencia configurado sin registro de prompts ni respuestas. No elimina todos los riesgos, pero reduce de forma significativa la exposición del dato.

El tercer eje es la trazabilidad y la calidad del razonamiento. Uno de los problemas que subyacen a las «sentencias no veraces» es la dificultad de reconstruir de dónde sale una afirmación generada por IA. HAL9000 se ha diseñado precisamente para aportar trazabilidad verificable: trabaja con fuentes revisables, aporta citas visibles y permite abrir las fuentes desde la propia interfaz. En un benchmark interno, en 120 consultas se mostraron 794 citas visibles y se abrieron correctamente 794 de 794 fuentes verificadas desde la interfaz. La propia documentación insiste en que esta trazabilidad no garantiza por sí sola la corrección semántica perfecta, pero sí introduce una señal fuerte de robustez documental y evita que una afirmación llegue al profesional sin apoyo en una fuente localizable. Además, el sistema se ha post‑entrenado internamente para separa hechos, alegaciones, fundamentos y fallo, y para no inventar lo que no consta en el texto, promoviendo una actitud más prudente y alineada con el método jurídico.

En términos de operativa diaria, esto se traduce en algo menos espectacular pero más útil para el despacho o el órgano jurisdiccional: trabajo por asuntos completos y no por preguntas sueltas, recuperación de documentación con criterio de relevancia, herramientas de anonimización, transcripción y organización de información dentro de un mismo hilo de trabajo, y una interfaz que permite verificar el fundamento jurídico de cada respuesta. La política de logs y retención va en la misma línea: no se registran contenidos sensibles en los logs, se limita la información operativa a lo estrictamente necesario y la retención de datos está gobernada por tiempos de vida y mecanismos de purga verificables. Combinado con la ausencia de APIs externas y con servidores en España, este enfoque facilita cumplir con las exigencias de confidencialidad y protección de datos que se esperan de cualquier herramienta desplegada en el ecosistema de justicia.

Nada de esto convierte a la IA en inocua, ni garantiza que nunca se cometan errores. Pero sí marca la diferencia entre un uso improvisado, que acaba filtrándose en sentencias no veraces, y un uso profesional, cuyo ámbito está claramente delimitado y sometido a supervisión humana. La clave no es tanto la potencia del modelo como el marco de uso: finalidad acotada, control de datos, trazabilidad de fuentes y asunción explícita de que la decisión jurídica sigue correspondiendo al profesional responsable. Si la noticia de RTPA nos recuerda los riesgos de la vía rápida, el diseño de sistemas como HAL9000 apunta a una alternativa más compatible con los principios básicos del proceso justo: transparencia, control y responsabilidad.

La noticia original puede consultarse en el portal de RTPA Radiotelevisión del Principado de Asturias, bajo el título «El mal uso de la inteligencia artificial se cuela en la justicia», disponible en: https://www.rtpa.es