Halluzination bezeichnet im Kontext der künstlichen Intelligenz die Tendenz eines generativen Modells, insbesondere eines großen Sprachmodells, Aussagen zu produzieren, die selbstbewusst und flüssig klingen, aber faktisch falsch, erfunden oder durch seine Trainingsdaten oder eine ihm gegebene Quelle nicht gestützt sind. Der Begriff ist lose aus der menschlichen Psychologie entlehnt und ist unter Forschern Gegenstand einiger Debatte, da er einen Wahrnehmungsfehler impliziert, statt des eher mechanischen Prozesses, mit dem ein Sprachmodell Text erzeugt.
Ursachen
Sprachmodelle werden darauf trainiert, plausible Fortsetzungen von Text vorherzusagen, nicht Fakten zu verifizieren, daher hat ein Modell keinen eingebauten Mechanismus, um eine gut gestützte Behauptung von einer flüssigen, aber erfundenen zu unterscheiden. Halluzination ist wahrscheinlicher, wenn eine Eingabeaufforderung nach Informationen fragt, die selten oder inkonsistent in den Trainingsdaten vorkamen, wenn eine Frage außerhalb des Kontextfensters oder des Wissensstandes eines Modells liegt, oder wenn ein Modell gebeten wird, spezifische Quellen, Daten oder Zahlen zu zitieren, die es nie genau zu memorieren trainiert wurde, wie etwa juristische Fallzitate oder akademische Referenzen. Einige Forscher führen einen Teil des Problems auf RLHF zurück, indem sie argumentieren, dass das Training eines Modells, selbstbewusst zu klingen und menschliche Bewerter zufriedenzustellen, flüssiges Raten über das Eingestehen von Unsicherheit belohnen kann. Halluzination ist eng mit dem breiteren Verankerungsproblem verwandt: Ein Modell, das rein auf Text trainiert ist, hat keine direkte Verbindung zwischen seinen Ausgaben und dem Zustand der Welt, daher garantiert nichts in seinem Trainingsprozess faktische Genauigkeit.
Bemerkenswerte Vorfälle
Halluzination wechselte von einem akademischen Anliegen zu einem öffentlichen, nachdem der öffentliche Start von ChatGPT im Spätherbst 2022 große Sprachmodelle einem Massenpublikum zugänglich machte. In einem weithin berichteten Fall von 2023 reichten Anwälte in einem Bundesprozess in New York einen Schriftsatz ein, der erfundene Fallzitate enthielt, die ChatGPT erfunden hatte, was zu Sanktionen führte und breite Aufmerksamkeit auf das Risiko lenkte, Modellausgaben ohne Überprüfung zu vertrauen. Suchmaschinen und Assistenten, die Webergebnisse zusammenfassen, haben ebenfalls halluzinierte Zusammenfassungen produziert, was Unternehmen dazu veranlasste, Zitate und Vertrauensvorbehalte zu KI-generierten Antworten hinzuzufügen.
Abschwächung
Die am weitesten verbreitete Abschwächung ist retrieval-gestützte Generierung, bei der ein System zur Abfragezeit relevante Dokumente abruft und das Modell anweist, seine Antwort darauf zu stützen, was die Rate erfundener Behauptungen reduziert, aber nicht eliminiert. Andere Ansätze umfassen Feinabstimmung eines Modells, um speziell kalibrierte Unsicherheit auszudrücken, Aufforderungstechniken, die ein Modell bitten, Quellen zu zitieren oder seine Argumentation über Gedankenketten zu zeigen, sowie nachgelagerte Faktenprüfungs-Pipelines, die Behauptungen gegen externe Datenbanken verifizieren, bevor sie einem Benutzer angezeigt werden. Benchmarks und Bewertungssuiten umfassen zunehmend die Halluzinationsrate als verfolgte Metrik neben allgemeiner Fähigkeit, und einige Labore berichten Halluzinationsstatistiken für neue Modellveröffentlichungen als Teil ihres Bewertungsprozesses.
Laufende Debatte
Forscher sind uneins darüber, ob Halluzination ein lösbares technisches Problem oder eine inhärente Eigenschaft davon ist, wie autoregressive Sprachmodelle Text erzeugen. Einige argumentieren, dass Skalierung und bessere Trainingsdaten die Halluzinationsraten stetig reduzieren werden, indem sie auf gemessene Verbesserungen über aufeinanderfolgende Modellgenerationen verweisen. Andere argumentieren, dass, weil ein Sprachmodell keinen eingebauten Ground-Truth-Verifikationsschritt darin hat, wie es jedes Token erzeugt, eine gewisse Rate an Erfindung ohne externe Werkzeuge unvermeidbar ist, und dass das praktische Ziel sein sollte, Schnittstellenund Arbeitsabläufe zu bauen, die annehmen, dass Halluzination passieren wird, und darauf ausgelegt sind, sie zu fangen.