Instrucciones ocultas para engañar a una IA: qué debería preocupar (de verdad) a la Justicia

La noticia sobre instrucciones ocultas capaces de engañar a una IA conecta directamente con una preocupación creciente en el ecosistema jurídico: qué ocurre cuando una herramienta, que empezamos a incorporar a la práctica profesional, puede ser inducida a dar respuestas erróneas, sesgadas o simplemente incoherentes mediante mecanismos que el usuario no percibe a simple vista. En contextos generales, esta vulnerabilidad puede traducirse en malas recomendaciones de consumo o errores triviales; en un proceso judicial, puede afectar a la selección de jurisprudencia, a la redacción de un escrito o incluso a la comprensión de un antecedentes de hecho. El problema ya no es solo la “alucinación” espontánea del modelo, sino la posibilidad de que un documento o una interacción de terceros introduzca instrucciones invisibles que condicionen el resultado sin que el profesional tenga margen real para detectarlo.

Desde la perspectiva de la prueba y de la tutela judicial efectiva, esta situación plantea varias cuestiones: ¿cómo valorar un informe o borrador elaborado con apoyo de IA si no podemos reconstruir qué indicaciones ha seguido el sistema? ¿cómo discutir una motivación que se ha nutrido de un asistente opaco, sin saber de qué fuentes concretas ha bebido? Y, sobre todo, ¿cómo atribuir responsabilidades cuando la herramienta depende de servicios remotos, se alimenta de datos que no controlamos y se ajusta mediante prompts que el propio usuario desconoce? La experiencia muestra que buena parte de las soluciones generalistas funcionan como una “caja negra” orientada al usuario final: responden con fluidez, pero ocultan tanto el rastro documental como el flujo completo de tratamiento del dato, desde la subida del documento hasta su eventual retención en servidores de terceros.

En este contexto, empiezan a tomar relieve jurídico elementos que, hasta ahora, se consideraban puramente técnicos: dónde se alojan los servidores, qué modelos se utilizan, qué logs se generan y cuánto tiempo se conservan, si existe o no envío de información a proveedores de IA externos, o de qué manera se habilita una trazabilidad comprobable de las fuentes. En un entorno de trabajo con expedientes reales —muchos de ellos con datos especialmente protegidos, secretos profesionales o información corporativa sensible—, la arquitectura deja de ser una cuestión interna del proveedor para convertirse en un factor relevante al evaluar diligencia, cumplimiento normativo y eventual responsabilidad profesional.

HAL9000.Legal se presenta precisamente como una respuesta a estas preocupaciones desde la práctica jurídica española. Se trata de una IA jurídica privada, desplegada en infraestructura propia en España, que no recurre a APIs externas de plataformas generalistas para procesar las consultas. La información disponible indica que la herramienta se ha diseñado para operar con servidores y modelos controlados por Abogacía Tecnológica, sin cesión operativa de las consultas a terceros. Esta aproximación reduce la exposición del dato frente a proveedores globales y facilita que el despacho o el órgano que la utilice pueda identificar de forma clara quién es el responsable del tratamiento, cuál es el flujo de datos y qué garantías se están aplicando en cada fase de la sesión.

Otra pieza clave ante el riesgo de instrucciones ocultas y de manipulación del resultado es la trazabilidad. HAL9000.Legal trabaja con fuentes revisables y se ha sometido a un benchmark end‑to‑end sobre la interfaz real, en el que se midió la apertura efectiva de las citas que el sistema mostraba en pantalla. En una muestra de 120 consultas, se verificó que 794 de 794 fuentes visibles se abrían correctamente desde la propia interfaz. Esto no convierte al modelo en infalible ni garantiza, por sí solo, un soporte semántico perfecto, pero sí aporta una señal de robustez documental: el abogado puede seguir el fundamento, localizar los protagonistas del expediente y comprobar qué texto respalda una afirmación concreta. Para un juez o magistrado, esta capacidad de ver y abrir la fuente desde la misma herramienta es muy distinta de recibir una mera paráfrasis sin referencia verificable.

La propia filosofía de diseño de HAL9000.Legal se aleja de la simple adaptación de un modelo generalista mediante prompt. Abogacía Tecnológica subraya que no se limita a “maquillar” un asistente común con instrucciones jurídicas, sino que incorpora un post‑entrenamiento interno orientado a aproximar el comportamiento del modelo al razonamiento profesional: separar hechos, alegaciones, fundamentos y fallo, evitar la invención de contenidos que no constan en el texto y reconocer los límites de la herramienta. Esta aproximación, unida a la insistencia en no vender “otro ChatGPT con indicaciones”, pone sobre la mesa una cuestión relevante para la justicia: si la herramienta que utilizamos está pensada para el trabajo con expedientes reales o si, simplemente, se apoya en un modelo generalista al que se le ha pedido, mediante instrucciones, que se comporte “como un abogado”.

Desde el punto de vista de privacidad y seguridad de la información, la auditoría de HAL9000 publicada por Abogatic aporta detalles adicionales que dialogan directamente con las preocupaciones que destapa la noticia. El sistema está concebido para operar en un entorno privado del cliente, con procesamiento local de documentos, cifrado en reposo del volumen de cargas, eliminación física de archivos una vez indexados y mecanismos de purga por identificador. No se registran contenidos sensibles en los logs, y los registros operativos se limitan a eventos técnicos mínimos, gobernados por políticas de retención basadas en tiempos de vida definidos. El modelo principal es un Qwen3.5 servido en infraestructura local mediante vLLM, configurado sin registro de prompts ni respuestas, y los servicios de OCR y transcripción de vídeo se ejecutan también en contenedores locales, eliminando los archivos temporales al terminar.

Este esquema refuerza varias ideas que, en la práctica judicial, son algo más que buenas intenciones. Primero, que los documentos del expediente no se reutilicen para entrenamiento externo ni se compartan con terceros, reduciendo el riesgo de fugas o de usos secundarios no controlados. Segundo, que la intervención de la IA se produzca dentro de un perímetro comprensible para el órgano judicial o el despacho, de manera que pueda acreditarse qué se ha hecho, con qué herramientas y bajo qué políticas de tratamiento de datos. Y tercero, que la herramienta soporte un modelo de supervisión humana realista: el abogado sigue siendo responsable del uso de los resultados, debe verificar y validar las respuestas antes de incorporarlas a su estrategia procesal y es quien asume, en última instancia, las consecuencias jurídicas de las decisiones adoptadas.

Los términos de servicio de HAL9000.Legal insisten en esta idea: la plataforma no constituye asesoramiento jurídico ni sustituye el criterio profesional del usuario, que debe valorar la adecuación de las respuestas al caso concreto. Abogacía Tecnológica delimita asimismo su responsabilidad, señalando que, aunque se han adoptado medidas técnicas y de control para minimizar errores, no puede garantizar la exactitud ni la actualidad de todas las respuestas. En paralelo, la política de reembolsos se encuadra en la legislación española de consumidores y usuarios, reconociendo la naturaleza específica de los servicios digitales de ejecución inmediata. Todo ello configura un marco en el que la IA es una herramienta de apoyo —no un sustituto— y en el que la responsabilidad por su uso se integra en la responsabilidad profesional habitual del abogado.

Este enfoque no neutraliza todas las amenazas asociadas a instrucciones ocultas o a potenciales usos maliciosos de la IA, pero sí desplaza el debate a un terreno más manejable desde el Derecho: arquitectura, gobernanza del dato, trazabilidad de las fuentes y distribución de responsabilidades entre proveedor, usuario profesional y, en su caso, órgano judicial. Para una justicia que empieza a experimentar con sistemas de IA, puede que el problema de fondo no sea tanto la existencia de ataques sofisticados, sino la adopción acrítica de herramientas opacas, sin un marco técnico‑jurídico que permita explicar qué ha ocurrido cuando algo falla. En este punto, soluciones que priorizan servidores propios en España, ausencia de subcontratación a IA genérica, trazabilidad verificable y supervisión humana no son una garantía absoluta, pero sí un paso necesario hacia una integración de la IA compatible con las exigencias del proceso.

La noticia completa sobre las instrucciones ocultas para engañar a una IA y sus implicaciones en el ámbito de la justicia puede consultarse en el Blogthinkbig.com de Telefónica, bajo el título «Instrucciones ocultas para engañar a una IA: el caso que preocupa a la justicia», disponible en https://blogthinkbig.com.