Emergente Fähigkeiten
Im Kontext von großen Sprachmodellen beziehen sich emergente Fähigkeiten auf Fähigkeiten, die scheinbar abrupt auftauchen, sobald ein Modell eine bestimmte Schwelle an Parametern, Trainingsdaten oder Rechenleistung überschreitet, anstatt sich kontinuierlich und vorhersehbar zu verbessern, wie es das allgemeine Trainingsverlustverhalten unter Skalierungsgesetzen nahelegt. Eine Fähigkeit wird als emergent bezeichnet, wenn sie bei kleineren Modellen auf dem Niveau des Zufalls liegt und dann bei einem größeren Modell derselben Modellfamilie sprunghaft auf ein deutlich über dem Zufall liegendes Niveau ansteigt, ohne dass bei den kleineren Modellen ein Hinweis auf den bevorstehenden Leistungssprung erkennbar ist.
Ursprung des Begriffs
Das Konzept wurde in einem vielzitierten Papier aus dem Jahr 2022 mit dem Titel „Emergent Abilities of Large Language Models“ von Jason Wei und Kollegen formalisiert. Das Papier untersuchte Benchmark-Ergebnisse über verschiedene Modellfamilien hinweg und identifizierte Dutzende von Aufgaben – darunter bestimmte arithmetische Probleme, einige mehrschrittige Denkaufgaben und das Befolgen von Anweisungen – bei denen die Leistung bei kleineren Modellen nahe dem Zufallsniveau stagnierte und dann ab einer bestimmten Modellgröße steil anstieg. Das Papier brachte dieses Muster mit Techniken wie Few-Shot-Lernen und In-Context-Lernen in Verbindung, bei denen die Fähigkeit eines Modells, im Prompt selbst gegebene Beispiele zu nutzen, offenbar vom Überschreiten einer bestimmten Fähigkeitsschwelle abhing. Auch Chain-of-Thought-Prompting, bei dem ein Modell aufgefordert wird, vor der Antwort Schritt für Schritt zu denken, wurde als eine Technik genannt, deren Nutzen erst bei ausreichend großen Modellen sichtbar wurde, während sie bei kleineren Modellen keinen oder sogar einen negativen Effekt hatte.
Die „Fata Morgana“-Kritik
Im Jahr 2023 veröffentlichten die Forscher Rylan Schaeffer, Brando Miranda und Sanmi Koyejo ein Papier mit dem Titel „Are Emergent Abilities of Large Language Models a Mirage?“, in dem sie argumentierten, dass viele der behaupteten emergenten Fähigkeiten ein Artefakt der gewählten Bewertungsmetriken seien und keine grundlegende Eigenschaft der Modelle selbst darstellten. Sie zeigten, dass der Wechsel von einer strengen, alles-oder-nichts-Genauigkeitsmetrik, bei der eine Antwort nur vollständig richtig oder falsch ist, zu einer glatteren, teilweise anrechnenden Metrik bei denselben Aufgaben und denselben Modellausgaben oft einen scheinbar abrupten Leistungssprung in eine allmähliche, kontinuierliche Verbesserung verwandelte, die den Skalierungsgesetzen folgte. Aus dieser Sicht verbesserte sich die zugrunde liegende Fähigkeit die ganze Zeit über gleichmäßig, und nur die Wahl einer diskontinuierlichen Bewertungsregel ließ die Verbesserung wie eine plötzliche Emergenz erscheinen.
Die laufende Debatte
Die Kontroverse ist bis heute nicht vollständig beigelegt. Befürworter der ursprünglichen Interpretation weisen darauf hin, dass einige Fähigkeiten tatsächlich eine Mindestgröße des Modells zu erfordern scheinen, um überhaupt zu funktionieren, und dass die praktische Erfahrung mit Modellen unterschiedlicher Größen bei realen Aufgaben oft qualitative Unterschiede zeigt und nicht nur graduelle Verbesserungen dessen, was ein Modell zuverlässig leisten kann. Kritiker entgegnen, dass die Beweislast bei denen liege, die einen abrupten Übergang behaupten, und dass viele der spektakulärsten behaupteten Sprünge einer genaueren statistischen Prüfung nicht standgehalten hätten. Die Debatte ist nicht nur von akademischem Interesse, sondern hat praktische Bedeutung für die Frage, wie vorhersehbar zukünftige Leistungssteigerungen sind: Wenn Fähigkeiten plötzlich und unvorhersehbar bei einer noch nicht erreichten Skala auftauchen können, erschwert das die Bemühungen, Risiken im Zusammenhang mit leistungsfähigeren Systemen vorherzusagen. Diese Sorge verbindet das Thema emergente Fähigkeiten mit der breiteren Diskussion über künstliche allgemeine Intelligenz und existenzielle Risiken durch KI.