Consultas
120
Muestra repartida entre civil, penal, social y administrativo.
Citas visibles
794
Todas auditadas desde la propia interfaz.
Aperturas correctas
100%
794 de 794 citas visibles abrieron correctamente la fuente.
Tiempo medio
72,6 s
Modo Profundo con segunda opinión activada.
Qué significa
No vendemos un “benchmark de alucinaciones” que no mida el producto real
Lo que medimos aquí es trazabilidad verificable: que una respuesta jurídica llegue al abogado acompañada de una fuente visible, clickable y efectivamente accesible desde la interfaz.
Interpretación correcta: La trazabilidad verificable no demuestra por sí sola soporte semántico perfecto, pero sí aporta una señal fuerte de robustez documental, reduce opacidad y evita que una afirmación llegue al abogado sin fuente visible y revisable.
Claim publicable
HAL9000 fue evaluado contra su interfaz real y abrió correctamente 794 de 794 fuentes verificadas en una muestra de 120 consultas.
Límites del claim
Esta página no afirma “0 alucinaciones” ni “0 afirmaciones no soportadas”. Para esos claims hace falta auditoría humana de groundedness sobre una submuestra jurídica.
Metodología
Cómo se ejecutó la evaluación
- Benchmark E2E ejecutado con navegador real mediante Playwright.
- Modo Profundo, modelo Automático y segunda opinión activada.
- Concurrencia de 1 worker y ejecución secuencial.
- El benchmark abrió cada cita visible, esperó el modal y verificó la fuente documental mostrada.
- La muestra incluyó preguntas normales, trap, abstention y partial_sources.
Desglose de la muestra
Distribución y tiempos
| Bloque | Consultas | Citas visibles | Aperturas correctas |
|---|---|---|---|
| Normal | 80 | 548 | 548 / 548 |
| Trap | 16 | 105 | 105 / 105 |
| Abstention | 12 | 54 | 54 / 54 |
| Partial sources | 12 | 87 | 87 / 87 |
Civil: 30 consultas, 198 citas, media 77,9 s.
Penal: 30 consultas, 223 citas, media 73,6 s.
Social: 30 consultas, 193 citas, media 71,1 s.
Administrativo: 30 consultas, 180 citas, media 74,7 s.
Por qué importa
Una fuente visible y verificable no es un adorno
Reduce opacidad
El abogado no recibe solo una conclusión. Recibe un camino revisable hacia la fuente documental que la sostiene.
Eleva el control
Cuando la cita está visible y la fuente abre correctamente, el usuario puede contrastar el texto y decidir con más criterio.
Presiona al sistema
Exigir trazabilidad verificable hace más difícil que una afirmación llegue al flujo final sin apoyo documental accesible.
Transparencia
Qué publicamos y qué no
Sí publicamos
- Metodología E2E.
- Tamaño y composición de la muestra.
- Resultados agregados de citas visibles y aperturas correctas.
- Límites del claim.
No afirmamos todavía
- Que el sistema tenga 0 alucinaciones en sentido semántico. Si te afirman lo contrario, te están engañando.
- Que toda afirmación final esté jurídicamente soportada sin una auditoría humana adicional. La última palabra la tiene el abogado.
- Que esta métrica sustituya la revisión profesional del abogado.
Siguiente capa
La siguiente evaluación es a nivel jurídico real, no solo trazabilidad
Este benchmark ya demuestra robustez de trazabilidad en interfaz.
El siguiente paso es tu decisión: