Alucinación, en el contexto de la inteligencia artificial, se refiere a la tendencia de un modelo generativo, especialmente un modelo de lenguaje grande, a producir afirmaciones que son seguras y fluidas pero factualmente incorrectas, inventadas, o no respaldadas por sus datos de entrenamiento o cualquier fuente que se le haya proporcionado. El término se toma prestado de manera laxa de la psicología humana y es un tema de cierto debate entre los investigadores, ya que implica un error perceptivo en lugar del proceso más mecánico mediante el cual un modelo de lenguaje genera texto
Causas
Los modelos de lenguaje se entrenan para predecir continuaciones plausibles de texto, no para verificar hechos, por lo que un modelo no tiene un mecanismo incorporado para distinguir una afirmación bien respaldada de una fluida pero inventada. La alucinación es más probable cuando una consulta pregunta sobre información que apareció raramente o de manera inconsistente en los datos de entrenamiento, cuando una pregunta cae fuera de la ventana de contexto o del límite de conocimiento de un modelo, o cuando se le pide a un modelo que cite fuentes específicas, fechas, o números que nunca fue entrenado para memorizar con precisión, como citas de casos legales o referencias académicas. Algunos investigadores atribuyen parte del problema a RLHF, argumentando que entrenar a un modelo para que suene seguro y satisfaga a los evaluadores humanos puede recompensar la adivinación fluida sobre admitir incertidumbre. La alucinación está estrechamente relacionada con el problema más amplio de fundamentación: un modelo entrenado puramente en texto no tiene una conexión directa entre sus salidas y el estado del mundo, por lo que nada en su proceso de entrenamiento garantiza la precisión factual
Incidentes notables
La alucinación pasó de una preocupación académica a una pública después del lanzamiento público de ChatGPT a finales de 2022, que trajo los modelos de lenguaje grandes a una audiencia masiva. En un caso de 2023 ampliamente reportado, abogados en una demanda federal de Nueva York presentaron un escrito que contenía citas de casos fabricadas que ChatGPT había inventado, lo que llevó a sanciones y atrajo una amplia atención al riesgo de confiar en las salidas de los modelos sin verificación. Los motores de búsqueda y asistentes que resumen resultados web también han producido resúmenes alucinados, lo que ha llevado a las empresas a agregar citas y advertencias de confianza a las respuestas generadas por IA
Mitigación
La mitigación más ampliamente implementada es la generación aumentada por recuperación,en la que un sistema recupera documentos relevantes en el momento de la consulta e instruye al modelo para basar su respuesta en ellos, reduciendo pero no eliminando la tasa de afirmaciones fabricadas. Otros enfoques incluyen ajuste fino de un modelo específicamente para expresar incertidumbre calibrada, técnicas de indicación que piden a un modelo citar fuentes o mostrar su razonamiento mediante cadena de pensamiento, y tuberías de verificación de hechos posteriores que verifican afirmaciones contra bases de datos externas antes de mostrarlas a un usuario. Los puntos de referencia y los conjuntos de evaluación incluyen cada vez más la tasa de alucinación como una métrica rastreada junto con la capacidad general, y algunos laboratorios reportan estadísticas de alucinación para nuevos lanzamientos de modelos como parte de su proceso de evaluación.
Debate en curso
Los investigadores discrepan sobre si la alucinación es un problema de ingeniería solucionable o una propiedad inherente de cómo los modelos de lenguaje autorregresivos generan texto. Algunos argumentan que el escalado y mejores datos de entrenamiento reducirán de manera constante las tasas de alucinación, señalando mejoras medidas a través de generaciones sucesivas de modelos. Otros argumentan que debido a que un modelo de lenguaje no tiene un paso de verificación de verdad fundamental incorporado en cómo genera cada token, alguna tasa de fabricación es inevitable sin herramientas externas, y que el objetivo práctico debería ser construir interfaces y flujos de trabajo que asuman que la alucinación ocurrirá y estén diseñados para detectarla.