Stochastic Parrots Paper

In der maschinellen Lernen ist der Begriff „stochastischer Papagei“ eine Metapher, die verwendet wird, um große Sprachmodelle (LLMs) als Systeme zu beschreiben, die statistisch Sprache nachahmen, ohne echtes Verständnis zu besitzen. Das Wort „stochastisch“ leitet sich vom altgriechischen „στοχαστικός“ (stokhastikos, „auf Vermutungen basierend“) ab und bedeutet in der Wahrscheinlichkeitstheorie „zufällig bestimmt“, während „Papagei“ auf die Fähigkeit der Vögel verweist, menschliche Sprache nachzuahmen. Der Ausdruck wurde in dem 2021 veröffentlichten Papier „On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜“ von Timnit Gebru, Emily M. Bender, Angelina McMillan-Major und Margaret Mitchell eingeführt, das potenzielle Risiken großer Sprachmodelle darlegte. Das Papier wurde nicht nur wegen seiner Argumentation berühmt, sondern auch wegen seiner Rolle in einem Arbeitsplatzkonflikt zwischen Gebru und Google im Dezember 2020, der zu ihrem umstrittenen Ausscheiden und einer breiten Debatte in der KI-Gemeinschaft führte. Der Begriff gewann anschließend an Bedeutung in der akademischen Forschung zu generativer KI und wurde auch negativ als Beleidigung gegenüber KI-Systemen interpretiert.

Hintergrund und der Konflikt von 2020

Timnit Gebru ist eine KI-Ethikforscherin, die 2018 zu Google kam, wo sie gemeinsam mit Margaret Mitchell, einer Informatikerin, die sich auf algorithmische Verzerrungen spezialisiert hat, das Ethical Artificial Intelligence Team leitete. Emily M. Bender ist eine Linguistin, die für ihre Arbeit in der Computerlinguistik bekannt ist. Das Papier, das von Gebru und fünf weiteren Forschern (vier davon Google-Mitarbeiter) verfasst wurde, wurde für die ACM Conference on Fairness, Accountability, and Transparency 2021 eingereicht. Es argumentierte, dass LLMs erhebliche Risiken darstellen, darunter Umwelt- und Finanzkosten, Undurchschaubarkeit, die zu unbekannten gefährlichen Verzerrungen führt, sowie das Potenzial zur Täuschung, da diese Modelle die Konzepte, die dem Gelernten zugrunde liegen, nicht verstehen.

Das Papier beschrieb LLMs als „Aneinanderreihung von Sequenzen sprachlicher Formen... die in ihren riesigen Trainingsdaten beobachtet wurden, gemäß probabilistischer Informationen darüber, wie sie kombiniert werden, aber ohne Bezug auf Bedeutung“, was ihnen das Etikett „stochastische Papageien“ einbrachte. Nach der Einreichung forderte Google Gebru auf, entweder das Papier zurückzuziehen oder die Namen der Google-Mitarbeiter daraus zu entfernen. Gebru lehnte dies ohne weitere Diskussion ab und mailte Megan Kacholia, der Vizepräsidentin für Forschung bei Google, dass sie nach einer Übergangszeit zurücktreten würde, wenn das Unternehmen die Rückzugsanfrage nicht erklären und andere Bedenken zu ähnlichen Projekten ansprechen könne. Am nächsten Tag, dem 2. Dezember 2020, sandte Google eine E-Mail, dass es „ihren Rücktritt akzeptiere“. Die abrupte Entlassung löste Proteste von Google-Mitarbeitern aus und erzeugte negative Publicity für das Unternehmen.

Verwendung und öffentliche Übernahme

Der Ausdruck „stochastischer Papagei“ wurde von KI-Skeptikern und Forschern übernommen, um zu kennzeichnen, dass LLMs kein Verständnis für die Bedeutung ihrer Ausgaben haben. Sam Altman, CEO von OpenAI, verwendete den Begriff kurz nach der Veröffentlichung von ChatGPT im Dezember 2022 und twitterte „i am a stochastic parrot, and so r u.“ Der Begriff wurde von der American Dialect Society als KI-bezogenes Wort des Jahres 2023 nominiert.

Debatte über Verständnis vs. Nachahmung

Als LLMs wie ChatGPT begannen, mit Nutzern in überzeugend menschlichen Gesprächen zu interagieren, vertiefte sich die Frage, ob diese Systeme wirklich verstehen oder lediglich „nachplappern“. Maschinenlernforscher Lindholm, Wahlström, Lindsten und Schön hoben zwei wesentliche Einschränkungen hervor: LLMs sind durch die Daten begrenzt, mit denen sie trainiert werden, und wiederholen diesen Inhalt lediglich stochastisch; und da sie Ausgaben auf der Grundlage von Mustern generieren, wissen sie nicht, ob sie etwas Falsches oder Unangemessenes sagen. Sie stellten fest, dass solche Einschränkungen bei Datensätzen geringer Qualität zu „gefährlich falschen“ Ergebnissen führen könnten.

Subjektive Erfahrung

Befürworter argumentieren, dass in menschlichen Köpfen Wörter auf reale Erfahrungen abbilden, aber für LLMs entsprechen Wörter nur anderen Wörtern und Mustern in den Trainingsdaten. Daher behaupten sie, dass Aussagen über die Bedeutung von LLMs aus „der menschlichen Tendenz stammen, Text Bedeutung zuzuschreiben“, obwohl LLMs Sprache tatsächlich nicht verstehen.

Feinabstimmung und Gegenargumente

Kelsey Piper argumentierte, dass die Metapher des stochastischen Papageis sich auf das Vortraining konzentriert und moderne Feinabstimmungsprozesse ignoriert, die LLMs darauf trainieren, Anweisungen zu befolgen und genaue Antworten zu bevorzugen. Andere Forscher verweisen auf Benchmarks als Beleg: GPT-4 erreichte beim Uniform Bar Examination den 90. Perzentil und erzielte 93 % Genauigkeit beim MATH-Benchmark für Olympiade-Aufgaben der Oberstufe - Leistungen, die über bloßes Auswendiglernen von Mustern hinausgehen. Eine Umfrage von 2022 ergab, dass 51 % der KI-Experten glauben, dass LLMs mit genügend Daten Sprache wirklich verstehen können, eine Ansicht, die viele Experten bestreiten.

Halluzinationen und Einschränkungen

Befürworter der Idee des stochastischen Papageis verweisen auf Halluzinationen - oder Konfabulationen - bei denen LLMs falsche Informationen als Tatsachen präsentieren, als Beleg dafür, dass diese Systeme Wörter nicht mit einem Verständnis der Welt verbinden. Sie führen auch Fehler bei komplexer oder mehrdeutiger Grammatik an. Zum Beispiel: Bei dem Satzpaar „Die nasse Zeitung, die vom Tisch fiel, ist meine Lieblingszeitung. Aber jetzt, da meine Lieblingszeitung den Herausgeber entlassen hat, könnte ich sie nicht mehr gerne lesen. Kann ich in dem zweiten Satz ‚meine Lieblingszeitung‘ durch ‚die nasse Zeitung, die vom Tisch fiel‘ ersetzen?“ antwortete GPT-4 mit Ja und übersah, dass „Zeitung“ sich im ersten Kontext auf ein Objekt und im zweiten auf eine Organisation bezieht.

Laufende Forschung und Workshops

Im Jahr 2024 beschrieb eine Untersuchung von Scientific American einen geschlossenen Berkeley-Workshop, bei dem modernste Modelle neuartige Mathematikprobleme der Stufe 4 lösten, was darauf hindeutet, dass einige LLMs Aufgaben ausführen können, die nicht direkt in ihren Trainingsdaten enthalten sind. Diese Beobachtungen bleiben jedoch interpretationsbedürftig und haben die Debatte darüber, ob LLMs echtes Verständnis besitzen oder lediglich fortgeschrittenes Musterabgleichen betreiben, nicht vollständig gelöst.