PaLM 2 (Pathways Language Model 2) ist ein großes Sprachmodell, das von Google AI entwickelt und auf der jährlichen Google-I/O-Keynote im Mai 2023 angekündigt wurde. Es ist eine aktualisierte Version des ursprünglichen PaLM-Modells mit angeblich 340 Milliarden Parametern und einem Training auf 3,6 Billionen Tokens. PaLM 2 ist darauf ausgelegt, in einer Vielzahl von Aufgaben zu glänzen, darunter gesunder Menschenverstand, arithmetisches Denken, Codegenerierung und Übersetzung, mit besonderem Schwerpunkt auf verbesserten mehrsprachigen Fähigkeiten.
Das ursprüngliche PaLM-Modell, das im April 2022 eingeführt wurde, war ein dichtes, nur aus Decodern bestehendes transformerbasiertes großes Sprachmodell mit 540 Milliarden Parametern. Die Forscher trainierten auch kleinere Versionen mit 8 und 62 Milliarden Parametern, um die Auswirkungen der Modellgröße zu untersuchen. PaLM 2 baut auf dieser Grundlage auf und bietet verbesserte Leistung und eine breitere Sprachabdeckung.
Architektur und Training
PaLM 2 ist ein dichtes, nur aus Decodern bestehendes Transformer-Modell, ähnlich wie sein Vorgänger. Es wird auf einem hochwertigen Korpus von 780 Milliarden Tokens vortrainiert, der gefilterte Webseiten, Bücher, Wikipedia-Artikel, Nachrichtenartikel, Quellcode aus Open-Source-Repositories auf GitHub und Social-Media-Konversationen umfasst. Der Datensatz basiert auf dem, der zum Trainieren von Googles LaMDA-Modell verwendet wurde, wobei Social-Media-Konversationen 50 % des Korpus ausmachen, um die Konversationsfähigkeiten zu verbessern.
Das ursprüngliche PaLM 540B wurde über zwei TPU-v4-Pods trainiert, jeweils mit 3.072 TPU-v4-Chips, die an 768 Hosts angeschlossen waren, unter Verwendung einer Kombination aus Modell- und Datenparallelismus. Diese Konfiguration mit insgesamt 6.144 Chips erreichte eine Rekord-Hardware-FLOPs-Auslastung von 57,8 % und markierte damit die höchste Trainingseffizienz für große Sprachmodelle in dieser Größenordnung.
Fähigkeiten und Varianten
PaLM 2 ist in der Lage, eine Vielzahl von Aufgaben auszuführen, darunter gesunder Menschenverstand, arithmetisches Denken, Witzerklärungen, Codegenerierung und Übersetzung. In Kombination mit Chain-of-Thought-Prompting erzielt es deutlich bessere Leistungen bei Datensätzen, die mehrstufiges Denken erfordern, wie Textaufgaben und logikbasierte Fragen.
Google und DeepMind entwickelten Med-PaLM, eine Version von PaLM 540B, die auf medizinischen Daten feinabgestimmt wurde und bei medizinischen Frage-Antwort-Benchmarks frühere Modelle übertrifft. Med-PaLM war das erste Modell, das eine bestandene Punktzahl bei US-amerikanischen medizinischen Lizenzfragen erreichte und neben genauen Antworten auch Begründungen und Selbstevaluation lieferte.
Google erweiterte PaLM auch mithilfe eines Vision-Transformers zu PaLM-E, einem Vision-Sprachmodell für robotische Manipulation ohne erneutes Training oder Feinabstimmung. Im Juni 2023 kündigte Google AudioPaLM für Sprach-zu-Sprach-Übersetzung an, das die PaLM-2-Architektur und -Initialisierung verwendet.
Veröffentlichung und Zugang
Das ursprüngliche PaLM blieb bis März 2023 privat, als Google eine API für PaLM und mehrere andere Technologien startete. Die API war zunächst einer begrenzten Anzahl von Entwicklern zugänglich, die sich vor der öffentlichen Veröffentlichung auf eine Warteliste setzten. PaLM 2 wurde im Mai 2023 angekündigt und soll in verschiedene Google-Produkte und -Dienste integriert werden.
Auswirkungen und Vermächtnis
PaLM 2 stellt einen bedeutenden Fortschritt bei großen Sprachmodellen dar, insbesondere beim mehrsprachigen Verständnis und Denken. Seine Entwicklung steht im Einklang mit laufenden Bemühungen im Bereich der künstlichen Intelligenz und des maschinellen Lernens und trägt zur breiteren Landschaft der generativen KI bei. PaLM 2 gilt als Nachfolger von LaMDA und Vorgänger von Gemini, was Googles kontinuierliche Innovation in diesem Bereich widerspiegelt.