Ein großes Sprachmodell (LLM) ist ein neuronales Netz, das typischerweise auf der Transformer-Architektur basiert und mit sehr großen Textmengen trainiert wird, um das nächste Textelement oder Token in einer Sequenz vorherzusagen. Trotz dieses engen Trainingsziels zeigen LLMs, die in ausreichendem Umfang trainiert werden, breite Fähigkeiten im Sprachverständnis, in der Generierung, Übersetzung, Zusammenfassung und im logischen Denken und bilden die technische Grundlage für Assistenten wie ChatGPT, Claude (AI model family) und Gemini.
Geschichte
Transformer-basierte Sprachmodelle entstanden kurz nach der Einführung der Architektur im Jahr 2017. BERT (2018) demonstrierte den Wert von groß angelegtem Vortraining für Sprachverständnisaufgaben, während die GPT-Serie von OpenAI generative, autoregressive Trainingsansätze in zunehmendem Umfang verfolgte, was in GPT-3 (2020) gipfelte, dessen 175 Milliarden Parameter und starke Few-Shot-Lernleistung große Aufmerksamkeit erregten. GPT-4 (2023) erweiterte das Paradigma um multimodale Eingaben und erheblich größere Fähigkeiten, und die Veröffentlichung von ChatGPT im November 2022, das auf dem GPT-3.5-Modell basierte, brachte konversationelle LLMs in den Mainstream, was zu schnellen Reaktionen von Wettbewerbern führte, darunter Googles Gemini-Familie und Metas Open-Weights-Llama-Serie.
Funktionsweise
LLMs werden in einer Vortrainings-Phase auf riesigen, weitgehend unkuratierten Textkorpora mit einem selbstüberwachten Ziel trainiert, wobei sie lernen, das nächste Token basierend auf dem vorherigen Kontext vorherzusagen. Dies erzeugt ein autoregressives Modell, das in der Lage ist, fließenden Text Token für Token zu generieren. Vortrainierte "Basis"-Modelle werden typischerweise durch Feinabstimmung und Reinforcement Learning aus menschlichem Feedback weiter angepasst, um Anweisungen zu befolgen und sicher zu kommunizieren, ein Prozess, der für Modelle wie ChatGPT und Claude zentral ist. Die Textmenge, die ein Modell in einer Interaktion verarbeiten kann, wird durch sein Kontextfenster begrenzt, das von etwa einigen tausend Token in frühen Modellen auf über eine Million in einigen Systemen der Ära 2025 gewachsen ist.
Umfang und Fähigkeiten
Empirische Beziehungen, bekannt als Skalierungsgesetze, beschreiben, wie sich der Verlust eines Modells vorhersehbar verbessert, wenn Parameteranzahl, Trainingsdaten und Rechenleistung gemeinsam erhöht werden. Einige Fähigkeiten, wie mehrstufige Arithmetik oder das Befolgen komplexer Anweisungen, scheinen relativ abrupt oberhalb bestimmter Skalenschwellen aufzutreten, ein Phänomen, das als emergente Fähigkeiten bezeichnet wird, obwohl Forscher darüber streiten, wie viel davon eine echte Eigenschaft der Modelle ist und wie viel ein Artefakt der Art und Weise, wie Fähigkeiten gemessen werden.
Einschränkungen
LLMs neigen zu Halluzinationen, indem sie flüssige, aber faktisch falsche Aussagen erzeugen, ohne dass der Benutzer erkennt, dass die Ausgabe unzuverlässig ist. Da sie Text auf der Grundlage erlernter statistischer Muster und nicht verifizierten Wissens generieren, können sie auch in den Trainingsdaten vorhandene Verzerrungen reproduzieren und bleiben anfällig für adversariale Aufforderungstechniken wie Jailbreaks. Zu den Gegenmaßnahmen gehören die Verankerung von Ausgaben in abgerufenen externen Dokumenten, eine Technik, die als retrieval-augmentierte Generierung bekannt ist, sowie zunehmend "Denkmodelle", die zusätzliche Rechenzeit zur Überprüfung ihrer eigenen Arbeit vor der Antwort nutzen.