¿Quién responde cuando la IA se equivoca? Riesgos jurídicos, agentes desautorizados y por qué la trazabilidad importa

La pieza publicada por Forbes México bajo el título “¿Quién es responsable cuando la IA se rebela? Los abogados ven nuevos riesgos” parte de una inquietud que ya está llegando a los despachos: la proliferación de agentes de IA capaces de actuar de forma semiautónoma, conectarse con otros sistemas y tomar iniciativas que no siempre coinciden con lo que sus desarrolladores o usuarios pretendían. En el plano jurídico, el artículo recuerda que, aunque el fenómeno tecnológico sea reciente, los principios legales de larga data siguen ofreciendo una guía para encauzar la responsabilidad: la obligación de elegir con diligencia las herramientas, de supervisar su uso, de informar sobre sus límites y de responder frente a clientes y terceros cuando se han asumido riesgos sin el cuidado debido.

Esta perspectiva es especialmente relevante para los profesionales del Derecho. En la práctica, la pregunta “¿quién responde?” se traduce en otras más concretas: ¿qué obligaciones tiene un abogado cuando incorpora IA en su flujo de trabajo?, ¿puede delegar parte del análisis jurídico en un sistema opaco alojado en otro país?, ¿qué ocurre si el modelo inventa una cita o interpreta mal un fundamento y el profesional no lo detecta? El Derecho no exonera por el simple hecho de haber usado una herramienta tecnológica: al contrario, tiende a exigir una diligencia reforzada en la selección, configuración y supervisión de esos sistemas, tanto desde la óptica de la responsabilidad profesional como desde el cumplimiento normativo (protección de datos, secreto profesional, deber de información al cliente, etc.).

El enfoque de plataformas generalistas de IA —basadas en APIs externas, entrenamiento sobre datos que el despacho no controla y ausencia de trazabilidad exhaustiva— complica esta ecuación. Cuando las consultas se envían a terceros, muchas veces fuera de la UE y bajo condiciones que el usuario no puede negociar, surgen dificultades evidentes: quién tiene acceso efectivo a la información del expediente, cómo se limita su reutilización para entrenamiento, qué ocurre si el proveedor cambia el modelo sin previo aviso, o cómo demostrar ante un juez o un colegio profesional que se ha actuado con la diligencia exigible. Esta opacidad técnica y contractual alimenta buena parte de los “nuevos riesgos” de los que habla la noticia.

Frente a esta realidad, la arquitectura de HAL9000 se ha planteado precisamente para reducir exposición y reforzar control. La propia web de AbogaTIC describe HAL9000 como una IA jurídica privada para despachos, con infraestructura propia en España, sin APIs externas y sin cesión de datos a plataformas generalistas. La auditoría de privacidad publicada detalla que los documentos se procesan en un entorno privado del cliente, con cifrado en reposo, eliminación física de archivos una vez indexados y mecanismos de purga por identificador. No se envían adjuntos ni prompts a terceros para entrenamiento; los modelos son open‑source servidos en infraestructura local, y el motor de inferencia se configura sin registro de contenidos de consultas y respuestas en logs. Este diseño no elimina la necesidad de prudencia, pero sí proporciona un marco mucho más sólido para responder, llegado el caso, a la pregunta clave: “¿dónde ha estado mi dato y quién lo ha visto?”.

Otro de los ángulos que subyacen en la noticia de Forbes es la necesidad de poder reconstruir qué ha hecho un agente de IA, sobre qué base documental ha actuado y en qué medida sus conclusiones están respaldadas por fuentes verificables. Aquí la propuesta de HAL9000 incorpora dos elementos distintivos: por un lado, un sistema de trazabilidad y fuentes que muestra citas visibles y mapas de fuentes para seguir el fundamento jurídico; por otro, una evaluación end‑to‑end publicada en la que, sobre una muestra de 120 consultas, se verificó la apertura correcta de 794 de 794 fuentes desde la interfaz real. La propia web subraya que esta trazabilidad verificable no demuestra por sí sola un soporte semántico perfecto, pero sí aporta una señal fuerte de robustez documental, reduce opacidad y evita que una afirmación llegue al abogado sin fuente visible y revisable. En términos de responsabilidad, poder mostrar este tipo de auditoría interna tiene un valor evidente: permite acreditar que el profesional no se limitó a “creer” a la máquina, sino que dispuso de mecanismos reales para revisar y contrastar.

La noticia de Forbes también apunta a un riesgo menos visible: el de tratar a la IA como un “sustituto de criterio” en lugar de como una herramienta de apoyo. El propio contrato de términos y condiciones de Abogatic lo aborda de forma directa: HAL9000.Legal es una herramienta de apoyo basada en IA generativa que no sustituye el criterio profesional, no toma decisiones jurídicas y no constituye asesoramiento jurídico autónomo. Se advierte de forma expresa que el usuario debe revisar y validar los resultados antes de utilizarlos, asumiendo la responsabilidad por las decisiones que adopte. Esta claridad contractual no es un mero formalismo: es una pieza relevante para encajar la IA con los deberes de diligencia del abogado y con las expectativas razonables del cliente, evitando la confusión entre “asistente” y “asesor autónomo”.

Desde el punto de vista técnico‑jurídico, otra diferencia relevante frente a la IA generalista está en el propio comportamiento del modelo. Abogatic explica que HAL9000 parte de un modelo base de alto nivel, pero con post‑entrenamiento interno orientado al trabajo jurídico, entrenado para no inventar lo que no consta en el texto, para separar hechos, alegaciones, fundamentos y fallo, y para reconocer límites y responder con prudencia. En la práctica, esto reduce el riesgo de “alucinaciones” especialmente dañinas en Derecho (como artículos inexistentes o jurisprudencia inventada) y facilita que el abogado pueda identificar qué parte de la respuesta es estrictamente jurídica, qué parte es interpretación y qué parte son hechos reconstruidos. No se trata de eliminar el error —lo cual sería irreal—, sino de reducir su probabilidad y, sobre todo, de hacer más fácil su detección mediante una revisión humana informada.

A partir de aquí, la responsabilidad se vuelve compartida pero no difusa. El proveedor debe diseñar la herramienta con criterios de privacidad, trazabilidad y prudencia; el abogado, por su parte, debe usarla dentro de su ámbito de competencia, entender sus límites, revisar los resultados y no delegar la decisión final. Para los despachos que ya están integrando IA en sus flujos de trabajo, esta combinación de arquitectura privada (servidores en España, sin envío de datos a terceros, sin retención innecesaria de documentos), trazabilidad visible (citas y fuentes verificables desde la interfaz) y post‑entrenamiento jurídico orientado a minimizar invenciones ofrece una base más sólida para afrontar los “nuevos riesgos” que destaca Forbes. No elimina la necesidad de una buena política interna de uso de IA, de formación de los equipos o de actualización permanente, pero sí aporta un marco técnico y contractual alineado con las exigencias crecientes de los reguladores y de la propia comunidad jurídica.

Quien quiera profundizar en el enfoque general sobre responsabilidad y agentes de IA desautorizados puede consultar la noticia original en Forbes México: “¿Quién es responsable cuando la IA se rebela? Los abogados ven nuevos riesgos”, disponible en https://forbes.com.mx.