Hallucination, dans le contexte de l'intelligence artificielle, désigne la tendance d'un modèle génératif, en particulier un grand modèle de langage, à produire des affirmations confiantes et fluides mais factuellement incorrectes, inventées ou non étayées par ses données d'entraînement ou toute source qui lui a été fournie. Le terme est emprunté librement à la psychologie humaine et fait l'objet de débats parmi les chercheurs, car il implique une erreur perceptuelle plutôt que le processus plus mécanique par lequel un modèle de langage génère du texte.
Causes
Les modèles de langage sont entraînés à prédire des suites plausibles de texte, et non à vérifier des faits, de sorte qu'un modèle ne dispose d'aucun mécanisme intégré pour distinguer une affirmation bien étayée d'une invention fluide. L'hallucination est plus probable lorsqu'une invite demande des informations apparues rarement ou de manière incohérente dans les données d'entraînement, lorsqu'une question dépasse la fenêtre de contexte ou la date limite de connaissance d'un modèle, ou lorsqu'on demande à un modèle de citer des sources, des dates ou des chiffres précis qu'il n'a jamais été entraîné à mémoriser exactement, comme des citations de jurisprudence ou des références académiques. Certains chercheurs attribuent une partie du problème à RLHF, arguant que former un modèle à paraître confiant et à satisfaire des évaluateurs humains peut récompenser une devinette fluide plutôt que l'aveu d'incertitude. L'hallucination est étroitement liée au problème plus large de l'ancrage : un modèle entraîné uniquement sur du texte n'a aucun lien direct entre ses sorties et l'état du monde, de sorte que rien dans son processus d'entraînement ne garantit l'exactitude factuelle.
Incidents notables
L'hallucination est passée d'une préoccupation académique à une préoccupation publique après le lancement public de ChatGPT fin 2022, qui a amené les grands modèles de langage à un public de masse. Dans un cas largement rapporté en 2023, des avocats dans un procès fédéral à New York ont soumis un mémoire contenant des citations de jurisprudence fabriquées que ChatGPT avait inventées, entraînant des sanctions et attirant l'attention sur le risque de faire confiance aux sorties d'un modèle sans vérification. Les moteurs de recherche et les assistants qui résument les résultats Web ont également produit des résumés hallucinés, incitant les entreprises à ajouter des citations et des avertissements de confiance aux réponses générées par l'IA.
Atténuation
La mesure d'atténuation la plus largement déployée est la génération augmentée par récupération, dans laquelle un système récupère des documents pertinents au moment de la requête et demande au modèle de fonder sa réponse sur eux, réduisant mais n'éliminant pas le taux d'affirmations fabriquées. D'autres approches incluent le réglage fin d'un modèle pour exprimer spécifiquement une incertitude calibrée, des techniques d'invite qui demandent à un modèle de citer des sources ou de montrer son raisonnement via le raisonnement en chaîne, et des pipelines de vérification des faits a posteriori qui vérifient les affirmations par rapport à des bases de données externes avant de les montrer à un utilisateur. Les référentiels et les suites d'évaluation incluent de plus en plus le taux d'hallucination comme métrique suivie aux côtés des capacités générales, et certains laboratoires rapportent des statistiques d'hallucination pour les nouvelles versions de modèles dans le cadre de leur processus d'évaluation.
Débat en cours
Les chercheurs ne s'accordent pas sur la question de savoir si l'hallucination est un problème d'ingénierie résoluble ou une propriété inhérente à la façon dont les modèles de langage autorégressifs génèrent du texte. Certains soutiennent que la mise à l'échelle et de meilleures données d'entraînement réduiront régulièrement les taux d'hallucination, en citant des améliorations mesurées à travers les générations successives de modèles. D'autres soutiennent que, comme un modèle de langage n'a aucune étape de vérification de vérité terrain intégrée dans la façon dont il génère chaque jeton, un certain taux de fabrication est inévitable sans outils externes, et que l'objectif pratique devrait être de construire des interfaces et des flux de travail qui supposent que l'hallucination se produira et sont conçus pour la détecter.