¿Quién juzga a la IA? Gólems, tribunales y el futuro de la responsabilidad algorítmica

El titular de Entrepreneur en Español —“Conoce al tribunal de los gólems que juzgará a la IA cuando esta tenga que rendir cuentas”— utiliza una imagen potente: criaturas de barro que cobran vida para juzgar a otras criaturas artificiales. Más allá del recurso literario, la idea apunta a una cuestión que la abogacía no puede eludir: si delegamos partes relevantes de la toma de decisiones en sistemas de inteligencia artificial, ¿cómo se depuran responsabilidades cuando algo sale mal? ¿A quién interroga el juez: al desarrollador, al proveedor del modelo, al profesional que lo ha utilizado, o a todos ellos a la vez?

Para los profesionales del Derecho el núcleo del problema no está en la ciencia ficción, sino en la necesidad de que cualquier decisión apoyada en IA pueda ser explicada, discutida y, llegado el caso, revocada. Esto exige, como mínimo, tres cosas: identificar quién controla el sistema y con qué contrato, conservar —o al menos poder reproducir— el razonamiento relevante que ha conducido a una conclusión, y garantizar que la persona que firma el escrito o dicta la resolución ha ejercido un control real sobre el uso de la herramienta. Sin estos elementos, el famoso “tribunal de gólems” sería, en la práctica, un tribunal de cajas negras.

En este punto es útil contrastar el escenario imaginado por la noticia con modelos de IA jurídica que ya existen y que buscan, precisamente, reducir esa opacidad. HAL9000.Legal, por ejemplo, se presenta como una IA jurídica privada, con infraestructura propia en España, sin APIs externas y sin cesión operativa de consultas a plataformas generalistas. Esta arquitectura tiene consecuencias jurídicas muy claras: se limita el flujo transfronterizo de datos, se reduce la intervención de terceros en el tratamiento de información sensible y se facilita que el despacho o la institución pública pueda identificar con precisión qué se ha hecho con los documentos incorporados al expediente.

La auditoría interna de privacidad de HAL9000.Legal refuerza esta línea: procesamiento de documentos y transcripciones dentro de un entorno privado, cifrado en reposo, eliminación física de archivos tras su indexación, minimización y mecanismos de purga por identificador. Además, se indica que el sistema no emplea los datos de los usuarios para entrenamiento externo y que los logs se restringen a eventos técnicos mínimos, sin registrar contenidos de prompts o documentos. Este enfoque encaja con los principios de minimización, limitación de la finalidad y responsabilidad proactiva que inspiran tanto el RGPD como la normativa europea emergente en materia de IA, y facilita la argumentación jurídica sobre qué datos se han tratado, durante cuánto tiempo y con qué finalidad.

Otra cuestión que late en el “tribunal de gólems” es la capacidad de reconstruir el razonamiento que ha llevado a una salida concreta del sistema. En herramientas generalistas, la falta de fuentes visibles, la tendencia a mezclar hechos y valoraciones o la invención de referencias pueden generar un serio problema probatorio y deontológico: ¿cómo justificar la cita de una sentencia que en realidad no existe o una interpretación normativa basada en un texto no localizable? HAL9000.Legal aborda esta preocupación con un diseño centrado en la trazabilidad verificable: en un benchmark interno sobre 120 consultas se documenta la apertura correcta, desde la propia interfaz, de 794 de 794 fuentes citadas, permitiendo al profesional seguir el fundamento jurídico y revisar directamente los documentos en los que se apoya la respuesta.

Desde el punto de vista jurídico, esa trazabilidad no equivale a infalibilidad, pero sí mejora de forma sustancial la auditabilidad del trabajo asistido por IA. El abogado, juez o fiscal puede comprobar si la herramienta ha leído bien la resolución, si la cita es pertinente para el caso concreto y si existen posibles matices que el modelo no ha recogido. Se reduce así el riesgo de que una afirmación relevante llegue al expediente “desnuda de fuente”, algo difícilmente compatible con la exigencia de motivación reforzada en materias sensibles o con el principio de contradicción en un proceso judicial.

Un tercer eje es la propia naturaleza del servicio. En los términos de uso de HAL9000.Legal se insiste en que se trata de una herramienta de apoyo basada en IA generativa que no sustituye el criterio profesional, no toma decisiones jurídicas y no constituye asesoramiento autónomo. El usuario debe revisar y validar los resultados antes de utilizarlos, asumiendo la responsabilidad por las decisiones que adopte. Desde un prisma de responsabilidad civil y disciplinaria, esta configuración resulta más acorde con la realidad del oficio: la IA genera borradores, analiza documentación o propone líneas argumentales, pero la decisión de incorporarlas a un escrito, a un informe pericial o a una sentencia sigue siendo humana.

Este enfoque se ve reforzado por el propio diseño del modelo: HAL9000.Legal opera con post-entrenamiento interno orientado al razonamiento jurídico, entrenado para no inventar lo que no consta en el texto, para separar hechos, alegaciones, fundamentos y fallo, y para reconocer mejor sus límites. De nuevo, la idea no es trasladar al sistema una apariencia de infalibilidad, sino acercar su comportamiento a las expectativas profesionales de prudencia, fidelidad al texto y reducción de errores críticos. Para un eventual “tribunal de gólems”, que tuviera que valorar si un profesional actuó diligentemente al utilizar una herramienta de IA, sería mucho más defendible haber trabajado con un sistema explícitamente diseñado para esos fines que con un asistente genérico maquillado por instrucciones de prompt.

Todo ello tiene una traducción práctica en la forma de trabajar con expedientes: HAL9000.Legal está pensado para asuntos completos —con documentos, estrategia, revisión y borradores en un mismo hilo de trabajo—, incorpora mecanismos de anonimización de documentos, transcripción local de vídeo y un grafo de relaciones para manejar contexto complejo. En lugar de limitarse a contestar preguntas sueltas, se adapta a la lógica real del procedimiento, donde un mismo conjunto documental se reutiliza, se revisa y se discute a lo largo del tiempo. Para efectos de responsabilidad, esto facilita que el profesional pueda reconstruir, incluso meses después, cómo se ha ido gestando un determinado argumento y qué materiales documentales lo sustentan.

La imagen del “tribunal de los gólems” nos recuerda que la discusión sobre IA y Derecho no se resuelve solo con regulaciones futuras o grandes declaraciones sobre ética algorítmica. Se juega, sobre todo, en la arquitectura concreta de las herramientas que ya utilizamos y en la cultura profesional con la que las integramos en nuestro día a día. Modelos de IA jurídica privada, con servidores en España, sin subcontratación con IA genérica y con trazabilidad verificable, ofrecen un camino más compatible con la rendición de cuentas que exige el ordenamiento. Pero seguirán siendo, en cualquier caso, eso: herramientas. La última palabra —y la responsabilidad— continuarán estando en manos de quienes firman los escritos, dictan las resoluciones y defienden los derechos de sus clientes.

Puedes consultar la pieza original de Entrepreneur en Español, “Conoce al tribunal de los gólems que juzgará a la IA cuando esta tenga que rendir cuentas”, en su web: https://spanish.entrepreneur.com.