Un reciente informe revela que el mayor riesgo en el sector legal no está en las alucinaciones de la IA Generativa, sino en la “alucinación del usuario”
Redacción Un nuevo informe elaborado por el experto en inteligencia artificial Alex Dantart, CIO y cofundador de la legaltech Little John, advierte que el verdadero peligro de la IA en el ámbito jurídico no reside en las alucinaciones de los modelos generativos, sino en la “alucinación del usuario”: la tendencia de los profesionales a depositar una confianza ciega en herramientas que no han sido diseñadas para garantizar veracidad.
El documento, titulado “Inteligencia Artificial jurídica y el desafío de la veracidad: análisis de alucinaciones, optimización de RAG y principios para una integración responsable” (disponible en este enlace) analiza las causas y manifestaciones de las alucinaciones en los LLMs aplicados al derecho, evalúa la efectividad de la estrategia de mitigación RAG y plantea un cambio de paradigma hacia una IA “consultiva”, centrada en trazabilidad y veracidad. ¿Cuáles son las principales conclusiones del informe?
La alucinación no es un error, es una característica
Esto es algo que salió en el informe de Open AI del pasado 4 de septiembre.
Los LLMs están optimizados para generar texto fluido y plausible, no para garantizar la veracidad. Inventar información no es un fallo técnico, sino una consecuencia de diseño.
La solución actual no es suficiente
La mayoría de herramientas de legaltech emplean la tecnología RAG, que conecta los modelos de IA con bibliotecas de documentos legales reales para que los consulte antes de dar una respuesta.
Aunque esta tecnología reduce el problema de las alucinaciones, no lo elimina: estudios empíricos revelan tasas de error aún inaceptables, entre el 17% y el 33%, incluso en soluciones comerciales de alto coste.
Por tanto, siguen siendo muy peligrosas si se confía ciegamente en ellas.
Cambio de paradigma: dos tipos de IA
- IA generativa: actúa como un oráculo creativo (ej. ChatGPT), útil para brainstorming e ideación, pero no para tareas de precisión legal.
- IA consultiva: funciona como un archivero experto. Este es el modelo que asegura un uso fiable de la IA en entornos jurídicos.
- No crea nada, solo busca en bases de datos verificadas.
- Recupera información correcta, cita fuentes y argumenta, garantizando trazabilidad.
- Se basa en fiabilidad, no en creatividad.
La supervisión humana se refuerza
El informe enfatiza que la tecnología debe amplificar, no sustituir, la labor del jurista.
- Lejos de hacer al abogado obsoleto, la IA refuerza su valor.
- La supervisión humana, el escepticismo y la responsabilidad final se vuelven pilares indispensables en la práctica legal.
- La tecnología no quita responsabilidad, al contrario: la exige más que nunca.
Un documento científico de integración responsable de la IA
El documento propone directrices claras para una adopción madura y rigurosa de herramientas de inteligencia artificial en el sector jurídico, alejándose de expectativas “mágicas” y orientando a los profesionales legales hacia un uso ético, crítico y riguroso de la IA.
Sobre el autor
Alex Dantart es CIO y co-fundador de Little John, la legaltech que maximiza el valor generado por cada profesional legal a través de la inteligencia artificial aumentada.
Siendo experto en IA y tecnología, apuesta por la humanización de la digitalización desarrollando estudios y herramientas innovadoras que sirven como medio y ayuda para superar retos de la forma más humana, sencilla, ágil y confiable. Esto lo ha convertido en Top Voice e influencer en LinkedIn desde 2022, impartiendo masterclass en Startups Institute, The Valley, Telefónica, BBVA, Banco Santander o Lanzadera.
A lo largo de sus más de 30 años de carrera profesional, ha fundado más de 45 compañías e invertido en más de 25 startups. Además, es creador de Araban (Red de Bussines Angels), del Venture Capital Aragon Vc y del Founder Institute e Impact Hub en Zaragoza y cuenta también con salidas empresariales como Olapic, Klikin o Chronobook, valoradas en su totalidad en más de 150M de euros.
Acerca de Little John
Little John es la legaltech que revoluciona como nunca la superación de los grandes desafíos que limitan el crecimiento y beneficios de empresas y profesionales. Especialmente gracias a un conocimiento legal único, al impulso memorable de la experiencia de cliente y a la aplicación inteligente de tecnología junto a la IA.
Little John destaca por proporcionar soluciones tecnológicas basadas en inteligencia artificial capaces de facilitar la consulta y aprovechamiento de ingentes cantidades de datos de una forma sencilla e intuitiva.
Muchas de ellas incluso proporcionadas en modo servicio como la consulta de información legal, la lectura de comunicaciones judiciales, la captación de asuntos, la gestión visual de expedientes, la comunicación proactiva con los clientes y la explotación real de datos.