Alucinación

Definición

En IA, la alucinación se refiere a los casos en que un modelo genera resultados fluidos, pero factualmente incorrectos o sin sentido. Es especialmente común en modelos de lenguaje extensos y en IA generativa.

Propósito

El estudio de las alucinaciones ayuda a mejorar la fiabilidad y la seguridad de los modelos. Permite a los desarrolladores diseñar medidas de seguridad para detectar y reducir resultados inexactos.

Importancia

• Si no se aborda, se reduce la confianza en la IA.
• Puede causar daños en aplicaciones sensibles como la atención sanitaria o la legislación.
• Destaca las limitaciones de los modelos generativos actuales.
• Impulsa la investigación en métodos de recuperación y fundamentación fáctica.

Cómo Funciona

1. El modelo recibe un mensaje o una consulta.
2. Genera resultados basados ​​en patrones aprendidos, no en verificación de hechos.
3. Puede producir resultados que parezcan plausibles pero que sean incorrectos.
4. Se aplican técnicas de detección y corrección (por ejemplo, RAG).

Ejemplos (mundo real)

• Ocasionalmente, ChatGPT produce datos incorrectos cuando se le solicita.
• La demostración inicial de Google Bard mostró errores factuales.
• Los consejos médicos generados por IA a veces contienen imprecisiones.

Referencias / Lecturas adicionales

• “Reducción de alucinaciones en modelos lingüísticos grandes” — preimpresión de arXiv.
• Marco de gestión de riesgos de inteligencia artificial del NIST.
• Mitchell et al. “Tarjetas modelo para informes de modelos”. ACM FAccT.
• Causas de las alucinaciones de la IA