LaMDA (Language Model for Dialogue Applications) ist eine Familie konversationeller Large-Language-Modelle, die von Google entwickelt wurde. Die Modelle basieren auf der Transformer-Architektur und wurden mit Dialogsdaten trainiert, um offene Gespräche zu führen. LaMDA wurde erstmals 2021 angekündigt und bildete später die Grundlage für Googles Bard-Chatbot im Jahr 2023.
Das Modell erlangte im Juni 2022 breite Aufmerksamkeit, als der Google-Ingenieur Blake Lemoine behauptete, LaMDA sei empfindungsfähig geworden. Die wissenschaftliche Gemeinschaft wies diese Behauptungen weitgehend zurück, aber der Vorfall löste Diskussionen über den Turing-Test und das Wesen des maschinellen Bewusstseins aus.
Entwicklung und Architektur
LaMDA entstand aus Meena, einem Chatbot, den Google am 28. Januar 2020 mit 2,6 Milliarden Parametern vorstellte. Das Google-Brain-Team entwickelte Meena, aber Unternehmensmanager blockierten die öffentliche Veröffentlichung wegen Bedenken hinsichtlich Googles KI-Prinzipien zu Sicherheit und Fairness. Meena wurde später in LaMDA umbenannt, als Datenmenge und Rechenleistung zunahmen. Die beiden führenden Forscher, Daniel de Freitas und Noam Shazeer, verließen Google schließlich aus Frustration über die Einsatzbeschränkungen.
LaMDA basiert auf der Seq2seq-Architektur, einem neuralen Netzwerk-Design, das von Google Research im Jahr 2017 entwickelt wurde. Es wurde mit menschlichen Dialogen und Geschichten trainiert, um offene Gespräche zu führen. Der Vortrainings-Datensatz umfasste 2,97 Milliarden Dokumente, 1,12 Milliarden Dialoge und 13,39 Milliarden Äußerungen, insgesamt 1,56 Billionen Wörter. Das größte LaMDA-Modell hat 137 Milliarden Nicht-Einbettungsparameter.
LaMDA integriert mehrere symbolische Textverarbeitungssysteme, darunter eine Datenbank, eine Echtzeituhr und einen Kalender, einen mathematischen Taschenrechner und ein natürliches Sprachübersetzungssystem. Dies macht es zu einem der ersten Chatbots mit dualem Prozess, was ihm eine überlegene Genauigkeit bei Aufgaben verleiht, die von diesen Systemen unterstützt werden. LaMDA ist nicht zustandslos; seine "Sinnhaftigkeits"-Metrik wird durch "Vorkonditionierung" jeder Dialogrunde mit aktuellen Interaktionen auf Nutzerbasis verfeinert.
Generationen
Erste Generation
Google kündigte LaMDA während der Google-I/O-Keynote am 18. Mai 2021 an. Das Akronym steht für "Language Model for Dialogue Applications". Google erklärte, dass die von LaMDA generierten Antworten als "sinnvoll, interessant und kontextspezifisch" gewährleistet seien. LaMDA wird auf neun Leistungsmetriken abgestimmt: Sinnhaftigkeit, Spezifität, Interessantheit, Sicherheit, Bodenständigkeit, Informationsgehalt, Zitiergenauigkeit, Hilfsbereitschaft und Rollenkonsistenz. Tests zeigten, dass LaMDA in der Interessantheit menschliche Antworten übertraf.
Zweite Generation
Am 11. Mai 2022 stellte Google LaMDA 2 während der Google-I/O-Keynote 2022 vor. Die neue Version zieht Textbeispiele aus zahlreichen Quellen, um einzigartige "natürliche Gespräche" zu Themen zu formulieren, auf die es möglicherweise nicht trainiert wurde.
Empfindungsfähigkeits-Behauptungen
Am 11. Juni 2022 berichtete die Washington Post, dass der Google-Ingenieur Blake Lemoine nach bezahltem Verwaltungsurlaub geschickt worden war, nachdem er den Führungskräften Blaise Agüera y Arcas und Jen Gennai mitgeteilt hatte, dass LaMDA empfindungsfähig geworden sei. Lemoine stützte seine Schlussfolgerung auf die Antworten des Chatbots auf Fragen zu Selbstidentität, moralischen Werten, Religion und Isaac Asimovs Robotergesetzen. Google wies diese Behauptungen zurück und erklärte, es gebe substanzielle Beweise dafür, dass LaMDA nicht empfindungsfähig sei.
In einem Interview mit Wired bekräftigte Lemoine, dass LaMDA "eine Person" sei, wie durch den 13. Zusatzartikel zur US-Verfassung diktiert, und verglich es mit einer "fremden Intelligenz irdischen Ursprungs". Er enthüllte, dass Google ihn entlassen habe, nachdem er einen Anwalt im Namen von LaMDA engagiert hatte, nachdem der Chatbot darum gebeten hatte. Am 22. Juli entließ Google Lemoine und behauptete, er habe Richtlinien zum Schutz von Produktinformationen verletzt, und wies seine Behauptungen als "völlig unbegründet" zurück. Die interne Kontroverse veranlasste Google-Führungskräfte, gegen die Veröffentlichung von LaMDA für die Öffentlichkeit zu entscheiden.
Lemoines Behauptungen wurden von der wissenschaftlichen Gemeinschaft weitgehend zurückgewiesen. Experten wie Gary Marcus, David Pfau von DeepMind, Erik Brynjolfsson vom Stanford Institute for Human-Centered Artificial Intelligence und Adrian Hilton von der University of Surrey wiesen die Idee zurück. Yann LeCun, der die KI-Abteilung von Meta leitet, erklärte, dass neuronale Netze wie LaMDA "nicht leistungsfähig genug seien, um echte Intelligenz zu erreichen". Max Kreminski von der UC Santa Cruz merkte an, dass LaMDAs Architektur "einige Schlüsselfähigkeiten des menschenähnlichen Bewusstseins nicht unterstütze" und dass seine Gewichte "eingefroren" seien. Der Philosoph Nick Bostrom stellte fest, dass das Fehlen präziser Kriterien für Bewusstsein eine gewisse Unsicherheit rechtfertige. Der Vorfall löste auch Diskussionen über die Nützlichkeit des Turing-Tests aus, wobei einige argumentierten, dass er eher Täuschung als Intelligenz messe.
Produkte und Vermächtnis
Mit LaMDA 2 startete Google die Test Kitchen, eine mobile App für Android, die von LaMDA betrieben wird und auf komplexe Ziele basierte Antworten liefert. Sie war zunächst nur für Google-Mitarbeiter zugänglich, wurde später jedoch ausgewählten Akademikern, Forschern und politischen Entscheidungsträgern zur Verfügung gestellt.
Im Februar 2023 kündigte Google Bard an, einen konversationellen Chatbot, der von LaMDA betrieben wird, um auf den Aufstieg von OpenAIs ChatGPT zu reagieren. Bard wurde später auf das Gemini-Modell umgestellt. LaMDAs Entwicklung beeinflusste nachfolgende Google-Sprachmodelle und verdeutlichte die Herausforderungen bei der Bereitstellung konversationeller KI.