Im maschinellen Lernen ist ein Wissensstichtag (oder Datenstichtag) der Zeitpunkt, nach dem ein großes Sprachmodell nicht mehr mit neuen Daten trainiert wurde. Da große Sprachmodelle auf statischen Daten-Snapshots vortrainiert werden, die aus dem Internet, Büchern und anderen Quellen gesammelt wurden, ist das Wissen eines jeden Modells auf das festgelegt, womit es vor der Bereitstellung trainiert wurde. Informationen über Ereignisse nach diesem Datum fehlen in den Trainingsdaten des Modells, und das Modell kann ohne ein System für Echtzeit-Datenzugriff wie retrieval-augmentierte Generierung, das neue Informationen aus einer externen Datenbank abruft, nicht darauf zugreifen.
Wissensstichtage können Einschränkungen wie Halluzinationen mit sich bringen, bei denen das Modell selbstbewusste, aber falsche Aussagen generiert, sowie Informationslücken und eine verringerte Genauigkeit bei sich entwickelndem Wissen. Die Forschung hat gezeigt, dass Wissensstichtage sicherheitskritische Auswirkungen in Bereichen wie dem Gesundheitswesen haben, wo veraltetes Wissen zu schädlichen Empfehlungen führen kann. Im klinischen Bereich wiesen Modelle mit einem späteren Wissensstichtag eine größere Genauigkeit bei Fragen auf, die neuere Richtlinien widerspiegelten.
Beschreibung
Ein großes Sprachmodell wird vor der Bereitstellung auf statischen Daten-Snapshots trainiert, die bis zu einem bestimmten Wissensstichtag gesammelt wurden. Während des Trainings kann ein LLM sprachliche Muster, Semantik und kontextuelle Bedeutungen lernen. Das Modell wird dann darauf trainiert, die Wahrscheinlichkeit jedes Kandidatenworts zu schätzen, das auf einen gegebenen Satz folgen könnte, und es verwendet diese Wahrscheinlichkeiten, um Text zu generieren. Da sein Wissen zum Zeitpunkt des Trainings eingefroren ist, kann ein Modell mit einem festen Wissensstichtag keine Informationen über Fakten oder Entwicklungen liefern, die später entstanden sind, allein aus seinem vortrainierten Wissen. Einige Modelle können über Suchwerkzeuge neuere Informationen abrufen, aber ihr Urteilsvermögen bleibt durch die Daten geprägt, mit denen sie trainiert wurden. Anfragen zu Entwicklungen nach dem Stichtag können daher unvollständige, veraltete oder falsche Antworten erhalten.
Das Training der fortschrittlichsten KI-Systeme ist zunehmend teurer geworden; eine Studie von Forschern des Stanford University und Epoch AI aus dem Jahr 2024 prognostizierte, dass die Kosten für das Training der größten KI-Systeme bis 2027 in die Milliarden gehen würden. Das GPT-4-Modell hat einen Wissensstichtag von September 2021, das GPT-4-Turbo-Modell hat einen Wissensstichtag von Dezember 2023, und das GPT-5-Modell hat einen Wissensstichtag von September 2024. GPT-OSS-120B hat einen Wissensstichtag von Mai 2024, und Llama 4 Maverick hat einen Wissensstichtag von August 2024.
Informationslücken
Wissensstichtage erzeugen Informationslücken. LLMs haben kein Wissen über Ereignisse oder Entdeckungen, die nicht in ihren Trainingsdaten enthalten sind. Da diese Modelle darauf trainiert sind, die wahrscheinlichste Wortfolge basierend auf ihren Trainingsmustern zu generieren, können sie bei Anfragen jenseits dieser Informationen selbstbewusste, aber falsche Ausgaben erzeugen. Eine Studie von Cacioli et al. erstellte einen Benchmark mit 363 Fragen, der auf zwei Versionen der COVID-19-Behandlungsrichtlinien der Infectious Diseases Society of America basierte. Modelle, deren Wissensstichtage vor der neueren Richtlinie lagen, wie GPT-3.5-Turbo und Llama-2, schnitten bei diesen Fragen schlechter ab (76,03 Prozent bzw. 35,26 Prozent), während Modelle mit späteren Stichtagen, wie GPT-4o und Llama 3.3, eine Genauigkeit von über 90 Prozent aufwiesen. Die Studie kam zu dem Schluss, dass die Aktualität von Informationen als sicherheitskritisches Attribut behandelt werden muss, das mit Ausrichtung oder Interpretierbarkeit gleichwertig ist, und hob die Sicherheitsbedenken von Wissensstichtagen bei klinischen Entscheidungen hervor.
Effektive vs. gemeldete Daten
Eine Studie von Pęzik et al. an der Universität Łódź zeigte, dass das Wissen eines Modells nicht unbedingt mit seinem Stichtag übereinstimmt. Der effektive Stichtag, das Datum, bis zu dem es zuverlässig Informationen kennen kann, unterscheidet sich oft je nach Thema und wird durch die Verteilung der Informationen innerhalb der Trainingsdaten beeinflusst; einige Themen können späteres Wissen widerspiegeln als andere, und Wissen, das vor dem Stichtag liegt, kann fehlen. Trainingsdaten haben ungleichmäßige Informationen über Themen hinweg. Aufgrund der hohen Kosten für das erneute Training großer Sprachmodelle werden die Modelle selten neu trainiert, um ihren Wissensstichtag zu erweitern. Einige Modelle können integrierte Suchwerkzeuge verwenden, um auf neuere Informationen zuzugreifen, was es unklar macht, ob eine Antwort aus dem ursprünglichen Training des Modells oder aus einer Live-Suche stammt; GPT-4 kann auf sein Suchwerkzeug zugreifen und Echtzeitinformationen bereitstellen.
Retrieval-Augmentierte Generierung
Retrieval-augmentierte Generierung erweitert ein großes Sprachmodell mit aktualisierten Daten aus externen Quellen, sodass es besser informierte Antworten generieren kann. Bei RAG wird das Sprachmodell mit einer externen Wissensdatenbank oder Suchmaschine verbunden, um Live-Daten abzurufen. Dies ermöglicht es dem Modell, aktuelle Informationen zu finden, die für eine Anfrage relevant sind, und sie mit Zitaten in seine Antwort einzubeziehen. Die Verankerung eines Modells in externen Daten, die die Antworten eines Modells an seine abgerufenen Quellen bindet, hilft, die Häufigkeit von Halluzinationen zu reduzieren und verbessert die Ausgabegenauigkeit. Die externe Wissensdatenbank könnte jedoch veraltet sein oder Verzerrungen enthalten, was zu falschen Informationen (oder Halluzinationen) führen kann. Die KI-Übersichten von Google haben falsche Behauptungen aufgestellt und unzuverlässige Ergebnisse geliefert, da das Modell die abgerufenen Quellen möglicherweise falsch interpretiert oder keine qualitativ hochwertigen Quellen abruft. Der Abruf allein kann einen veralteten Wissensstichtag nicht vollständig kompensieren; das grundlegende Verständnis des Modells ist in seinen Trainingsdaten verwurzelt. Dies kann mit Techniken wie Verstärkungslernen aus menschlichem Feedback gemildert werden, die ein KI-Modell mit menschlichen Präferenzen ausrichtet; diese Technik kann die Qualität und Zuverlässigkeit der Antworten eines großen Sprachmodells verbessern.
Inkrementelles Lernen
Ein anderer Ansatz ist inkrementelles Lernen (oder kontinuierliches Lernen), eine Methode des maschinellen Lernens, bei der neue Daten kontinuierlich verwendet werden, um das vorhandene Wissen des Modells zu erweitern. Es zielt darauf ab, katastrophales Vergessen zu verhindern, bei dem KI abrupt vergisst, was sie gelernt hat. In der Praxis gelingt es jedoch oft nicht, katastrophales Vergessen vollständig zu verhindern. Diese Technik ermöglicht effiziente, inkrementelle Updates eines Modells ohne die Kosten eines vollständigen Neutrainingszyklus. Eine Technik des kontinuierlichen Lernens ist das Feintuning, das es KI-Laboren ermöglicht, das Verhalten eines Modells präzise anzupassen. Eine effizientere Methode des Feintunings umfasst Methoden wie Low-Rank-Adaptation. Dies bietet jedoch kein Echtzeitbewusstsein, da das Hinzufügen von Modulen zum System zu katastrophalem Vergessen führen kann, wenn die Gewichte im Modell zugunsten des neuen Datensatzes voreingenommen werden.