PaLM (Pathways Language Model) ist ein großes Sprachmodell, das von Google AI entwickelt und erstmals im April 2022 angekündigt wurde. Es handelt sich um ein dichtes, rein dekoderbasiertes Transformer-Modell mit 540 Milliarden Parametern, was es zum Zeitpunkt seiner Veröffentlichung zu einem der größten Sprachmodelle machte. Das Modell wurde mit Googles Pathways-System trainiert, das ein effizientes Training über mehrere TPU-Pods hinweg ermöglicht. Die Forscher trainierten außerdem kleinere Versionen mit 8 und 62 Milliarden Parametern, um die Auswirkungen der Modellgröße auf die Leistung zu untersuchen.
PaLM zeigte starke Fähigkeiten in einer Vielzahl von Aufgaben, darunter Alltagslogik, arithmetisches Denken, Erklärung von Witzen, Codegenerierung und Übersetzung. In Kombination mit Chain-of-Thought-Prompting erzielte PaLM deutlich bessere Ergebnisse bei Datensätzen, die mehrstufiges Denken erfordern, wie Textaufgaben und logikbasierte Fragen. Das Modell blieb bis März 2023 privat, als Google eine API für PaLM einführte, die zunächst einer begrenzten Anzahl von Entwicklern über eine Warteliste zur Verfügung stand, bevor sie öffentlich zugänglich wurde.
Architektur und Training
PaLM basiert auf der Transformer-Architektur, genauer gesagt auf einem reinen Dekoder-Design. Die 540B-Version wurde auf einem Korpus von 780 Milliarden Tokens vortrainiert, der gefilterte Webseiten, Bücher, Wikipedia-Artikel, Nachrichtenartikel, Quellcode aus GitHub-Repositories und Social-Media-Konversationen umfasste. Der Datensatz wurde aus dem Korpus abgeleitet, der für das Training von Googles LaMDA-Modell verwendet wurde, wobei Social-Media-Konversationen 50 % des Korpus ausmachten, um die Konversationsfähigkeiten zu verbessern.
Das Training des 540B-Modells erforderte zwei TPU-v4-Pods, jeweils mit 3.072 TPU-v4-Chips, die an 768 Hosts angeschlossen waren und über eine Kombination aus Modell- und Datenparallelität verbunden wurden. Diese Konfiguration mit insgesamt 6.144 Chips war damals das größte TPU-Setup und erreichte eine Hardware-FLOPs-Auslastung von 57,8 %, ein Rekord für Trainingseffizienz in dieser Größenordnung. Der Trainingsprozess nutzte das Pathways-System, das ein effizientes Skalieren über mehrere Pods hinweg ermöglichte.
Varianten und Anwendungen
Google und DeepMind entwickelten Med-PaLM, eine Version von PaLM 540B, die auf medizinischen Daten feinabgestimmt wurde. Med-PaLM übertraf frühere Modelle bei Benchmarks zur medizinischen Fragenbeantwortung und war das erste Modell, das eine bestandene Punktzahl bei US-amerikanischen medizinischen Lizenzfragen erzielte. Es liefert Begründungen für seine Antworten und kann seine eigenen Antworten bewerten.
Google erweiterte PaLM außerdem um einen Vision-Transformer, um PaLM-E zu erstellen, ein Vision-Language-Modell für robotische Manipulation, das kein erneutes Training oder Fine-Tuning für neue Aufgaben erfordert. Im Juni 2023 kündigte Google AudioPaLM für die Sprach-zu-Sprach-Übersetzung an, das die PaLM-2-Architektur und -Initialisierung verwendet.
Nachfolger: PaLM 2
Im Mai 2023 kündigte Google PaLM 2 auf der jährlichen Google-I/O-Keynote an. PaLM 2 wird als ein Modell mit 340 Milliarden Parametern beschrieben, das auf 3,6 Billionen Tokens trainiert wurde. Es dient als Nachfolger von PaLM und unterstützt verschiedene Google-Produkte und -Dienste. PaLM 2 verbesserte sich gegenüber seinem Vorgänger in Bereichen wie Mehrsprachigkeit, Denkfähigkeit und Programmierung und wurde über die PaLM-API und andere Google-Cloud-Dienste verfügbar gemacht.
Auswirkungen und Vermächtnis
PaLM stellte einen bedeutenden Schritt in der Entwicklung von großen Sprachmodellen dar und zeigte die Machbarkeit des Trainings von Modellen in beispiellosem Umfang mit verteilten Systemen. Sein Erfolg beeinflusste nachfolgende Modelle, einschließlich Gemini, das PaLM als Googles Flaggschiff-Sprachmodell ablöste. PaLMs Beiträge zum Chain-of-Thought-Prompting und zu multimodalen Erweiterungen wie PaLM-E trieben auch die Forschung im Bereich Denkfähigkeit und verkörperter KI voran.
Siehe auch
- LaMDA - PaLMs Vorgänger
- Gemini - PaLMs Nachfolger
- Chinchilla - ein verwandtes Sprachmodell