Google PaLM 2 ist ein großes Sprachmodell (LLM), das von Google AI entwickelt und auf der jährlichen Google-I/O-Keynote im Mai 2023 angekündigt wurde. Es ist der Nachfolger des Pathways Language Model (PaLM), einem dichten Decoder-only-Transformer-Modell mit 540 Milliarden Parametern, das erstmals im April 2022 vorgestellt wurde. PaLM 2 wird als ein Modell mit 340 Milliarden Parametern beschrieben, das auf 3,6 Billionen Token trainiert wurde - eine deutliche Steigerung gegenüber den 780 Milliarden Token seines Vorgängers. Das Modell unterstützt Bard, den konversationalen KI-Dienst von Google, sowie andere Google-KI-Produkte, mit verbesserten mehrsprachigen Fähigkeiten, besserem logischem Denken und höherer Kodierkompetenz.
PaLM 2 baut auf den architektonischen Grundlagen von PaLM auf, das als dichtes Decoder-only-Transformer-Modell konzipiert wurde. Das ursprüngliche PaLM-Modell zeigte starke Leistungen bei Aufgaben wie Alltagslogik, Rechenlogik, Witz-Erklärungen, Code-Generierung und Übersetzung. In Kombination mit Chain-of-Thought-Prompting erzielte PaLM deutlich bessere Ergebnisse bei Datensätzen, die mehrstufiges Denken erfordern, einschließlich Textaufgaben und logikbasierten Fragen. PaLM 2 erweitert diese Fähigkeiten, insbesondere in mehrsprachigen Kontexten, und ermöglicht es, Text über ein breiteres Spektrum von Sprachen mit größerer Genauigkeit zu verstehen und zu generieren.
Entwicklung und Ankündigung
Das ursprüngliche PaLM-Modell wurde erstmals im April 2022 angekündigt, blieb aber bis März 2023 privat, als Google eine API für PaLM und mehrere andere Technologien einführte. Die API war zunächst einer begrenzten Anzahl von Entwicklern zugänglich, die sich auf eine Warteliste setzten, bevor sie der Öffentlichkeit zugänglich gemacht wurde. PaLM 2 wurde auf der Google I/O im Mai 2023 vorgestellt und markierte einen wichtigen Meilenstein in Googles Bemühungen im Bereich Generative AI. Die Ankündigung hob PaLM 2 verbesserte Effizienz und Leistung gegenüber seinem Vorgänger hervor, mit einem Fokus auf praktische Anwendungen im Produktökosystem von Google.
Google und DeepMind entwickelten auch spezialisierte Versionen von PaLM. Med-PaLM, eine Version von PaLM 540B, die auf medizinischen Daten feinabgestimmt wurde, übertraf frühere Modelle bei Benchmarks zur medizinischen Fragebeantwortung. Es war das erste Modell, das eine bestandene Punktzahl bei US-amerikanischen medizinischen Lizenzfragen erreichte, wobei es neben korrekten Antworten auch Begründungen und Selbsteinschätzungen lieferte. Eine weitere Variante, PaLM-E, erweiterte PaLM mithilfe eines Vision-Transformers, um ein Vision-Language-Modell für die Robotermanipulation ohne erneutes Training oder Feinabstimmung zu erstellen. Im Juni 2023 kündigte Google AudioPaLM für Sprach-zu-Sprach-Übersetzung an, das auf der PaLM-2-Architektur und -Initialisierung basiert.
Architektur und Training
PaLM 2 ist ein dichtes Decoder-only-Transformer-Modell, ähnlich wie sein Vorgänger, jedoch mit einem größeren Trainingskorpus. Das ursprüngliche PaLM wurde auf einem hochwertigen Korpus von 780 Milliarden Token vortrainiert, darunter gefilterte Webseiten, Bücher, Wikipedia-Artikel, Nachrichtenartikel, Quellcode aus Open-Source-Repositories auf GitHub und Social-Media-Konversationen. Der Social-Media-Konversationsanteil machte 50% des Korpus aus und unterstützte die konversationalen Fähigkeiten. Die Trainingsdaten von PaLM 2 wurden auf 3,6 Billionen Token erweitert, was eine bessere Generalisierung und mehrsprachige Leistung ermöglicht.
Das ursprüngliche PaLM 540B wurde über zwei TPU-v4-Pods trainiert, jeder mit 3.072 TPU-v4-Chips, die an 768 Hosts angeschlossen waren, unter Verwendung einer Kombination aus Modell- und Datenparallelität. Diese Konfiguration mit insgesamt 6.144 Chips stellte einen Rekord für die höchste Trainingseffizienz dar, die bei LLMs dieser Größenordnung erzielt wurde, mit einer Hardware-FLOPs-Nutzung von 57,8%. Die Trainingsdetails von PaLM 2 sind weniger öffentlich dokumentiert, aber es nutzte wahrscheinlich ähnliche Infrastruktur, was Googles Investition in Google Cloud und spezialisierte Hardware widerspiegelt.
Fähigkeiten und Anwendungen
PaLM 2 ist darauf ausgelegt, in mehrsprachigen Aufgaben, logischem Denken und Kodierung hervorzustechen. Es unterstützt Bard, die konversationale KI von Google, und ist in andere Produkte wie Google Workspace und die KI-Dienste von Google Cloud integriert. Die verbesserten mehrsprachigen Fähigkeiten des Modells ermöglichen es, Übersetzung, Zusammenfassung und Fragebeantwortung über Sprachen hinweg effektiver zu bewältigen als frühere Modelle. Seine Denkfähigkeiten werden durch Techniken wie Chain-of-Thought-Prompting verbessert, was mehrstufiges Problemlösen ermöglicht.
Bei der Kodierung unterstützt PaLM 2 Code-Generierung und Debugging in mehreren Programmiersprachen, was es zu einem Werkzeug für Entwickler macht. Die Vielseitigkeit des Modells zeigt sich in Anwendungen von Maschinellem Lernen-Forschung bis hin zu Unternehmenslösungen. Google hat PaLM 2 als Grundlagenmodell für sein KI-Ökosystem positioniert und konkurriert damit mit Angeboten von OpenAI und Anthropic.
Vergleich mit anderen Modellen
Die 340 Milliarden Parameter von PaLM 2 ordnen es in die obere Kategorie der großen Sprachmodelle ein, obwohl es kleiner ist als einige Konkurrenten wie GPT-4 von OpenAI, das Berichten zufolge über eine Billion Parameter in einer Mixture-of-Experts-Architektur verfügt. Jedoch ermöglichen PaLM 2 Training auf 3,6 Billionen Token und sein Fokus auf Effizienz wettbewerbsfähige Leistungen bei Benchmarks. Die Architektur des Modells, die auf dem Transformer-Framework basiert, ähnelt der anderer LLMs, aber Googles proprietäre Trainingstechniken und Infrastruktur verleihen ihm besondere Vorteile bei der Skalierbarkeit.
Im Vergleich zu seinem Vorgänger PaLM bietet PaLM 2 deutliche Verbesserungen beim mehrsprachigen Verständnis und beim logischen Denken sowie reduzierte Rechenanforderungen für die Inferenz. Dies macht es zugänglicher für die Bereitstellung in realen Anwendungen. Googles Integration von PaLM 2 in Produkte wie Bard und Vertex AI von Google Cloud hat seine Reichweite erweitert und positioniert es als Schlüsselakteur in der Künstliche-Intelligenz-Landschaft.
Auswirkungen und Rezeption
Der Start von PaLM 2 im Mai 2023 stieß auf Aufmerksamkeit von der KI-Gemeinschaft und Branchenbeobachtern. Er zeigte Googles Engagement für die Weiterentwicklung von Deep Learning- und Neuronale-Netze-Technologien, insbesondere im wettbewerbsintensiven Bereich der generativen KI. Die verbesserten mehrsprachigen Fähigkeiten des Modells wurden als Fortschritt angesehen, um KI für Nicht-Englischsprachige zugänglich zu machen, und seine Kodierfähigkeiten sprachen Entwickler an.
Allerdings warf PaLM 2 auch Fragen zu den Umweltauswirkungen des Trainings großer Modelle auf, obwohl Google Effizienzverbesserungen betont hat. Die Integration des Modells in Bard löste Diskussionen über die Ethik der KI aus, einschließlich Fragen zu Voreingenommenheit und Fehlinformationen, die häufige Bedenken bei generativen KI-Systemen sind. Google hat Sicherheitsmaßnahmen implementiert, aber die breiteren Implikationen bleiben ein Thema der Debatte.
Zukünftige Richtungen
Nach PaLM 2 entwickelte Google seine KI-Modelle weiter. Ende 2023 kündigte Google Gemini an, einen Nachfolger von PaLM 2, der multimodale Fähigkeiten integriert und darauf ausgelegt ist, leistungsfähiger und vielseitiger zu sein. Die Architektur und Trainingsmethoden von PaLM 2 haben nachfolgende Entwicklungen beeinflusst, einschließlich Verbesserungen bei Multi-Head-Attention- und Positional-Encoding-Techniken. Das Vermächtnis des Modells zeigt sich in Googles laufenden Bemühungen, die Grenzen der Künstlichen Intelligenz zu erweitern, mit Anwendungen in Bereichen von Gesundheitswesen bis Robotik.
Stand 2025 bleibt PaLM 2 ein bedeutender Meilenstein in der Geschichte der LLMs und stellt eine Brücke zwischen früheren Modellen wie LaMDA und fortschrittlicheren Systemen wie Gemini dar. Seine Beiträge zu mehrsprachiger KI und effizientem Training haben nachhaltige Auswirkungen auf das Feld gehabt, und seine Prinzipien beeinflussen weiterhin die Forschung bei Google DeepMind und darüber hinaus.
Siehe auch
- LaMDA, Vorgänger von PaLM
- Gemini, Nachfolger von PaLM
- Chinchilla, ein verwandtes LLM
- Transformer (architecture), die zugrunde liegende Architektur
- Google Cloud, Infrastruktur für das Training
Referenzen
- Google-AI-Blog, Mai 2023, Ankündigung von PaLM 2
- Wikipedia, PaLM (Pathways Language Model), abgerufen 2025
- Google Research, PaLM: Scaling Language Modeling with Pathways, 2022