Google PaLM 2 est un grand modèle de langage (LLM) développé par Google AI, annoncé lors du discours principal annuel de Google I/O en mai 2023. Il succède au Pathways Language Model (PaLM), un modèle dense décodeur-seulement basé sur un transformateur de 540 milliards de paramètres, introduit pour la première fois en avril 2022. PaLM 2 est présenté comme un modèle de 340 milliards de paramètres entraîné sur 3,6 billions de jetons, une augmentation significative par rapport aux 780 milliards de jetons de son prédécesseur. Le modèle alimente Bard, le service d'IA conversationnelle de Google, ainsi que d'autres produits d'IA de Google, avec des capacités multilingues améliorées, un raisonnement affiné et une meilleure maîtrise de la programmation.
PaLM 2 s'appuie sur les fondations architecturales de PaLM, conçu comme un transformateur dense décodeur-seulement. Le modèle PaLM original a démontré de solides performances sur des tâches telles que le raisonnement de sens commun, le raisonnement arithmétique, l'explication de blagues, la génération de code et la traduction. Combiné à un prompt par chaîne de pensée, PaLM a obtenu des résultats nettement meilleurs sur des ensembles de données nécessitant un raisonnement en plusieurs étapes, notamment des problèmes de mots et des questions logiques. PaLM 2 étend ces capacités, en particulier dans des contextes multilingues, lui permettant de comprendre et de générer du texte dans une gamme plus large de langues avec une plus grande précision.
Développement et annonce
Le modèle PaLM original a été annoncé pour la première fois en avril 2022, mais est resté privé jusqu'en mars 2023, lorsque Google a lancé une API pour PaLM et plusieurs autres technologies. L'API était initialement disponible pour un nombre limité de développeurs inscrits sur une liste d'attente avant d'être rendue publique. PaLM 2 a été dévoilé lors de Google I/O en mai 2023, marquant une étape majeure dans les efforts de Google en matière de Generative AI. L'annonce a mis en avant l'efficacité et les performances améliorées de PaLM 2 par rapport à son prédécesseur, avec un accent sur les applications pratiques dans l'écosystème de produits de Google.
Google et DeepMind ont également développé des versions spécialisées de PaLM. Med-PaLM, une version de PaLM 540B affinée sur des données médicales, a surpassé les modèles précédents sur des références de questions-réponses médicales. Il a été le premier modèle à obtenir une note de passage aux questions de licence médicale américaine, fournissant un raisonnement et une auto-évaluation en plus de réponses précises. Une autre variante, PaLM-E, a étendu PaLM en utilisant un transformateur de vision pour créer un modèle vision-langage pour la manipulation robotique sans réentraînement ni affinage. En juin 2023, Google a annoncé AudioPaLM pour la traduction parole-à-parole, qui utilise l'architecture et l'initialisation de PaLM-2.
Architecture et entraînement
PaLM 2 est un modèle dense décodeur-seulement basé sur un Transformer (architecture), similaire à son prédécesseur mais avec un corpus d'entraînement plus vaste. Le PaLM original a été pré-entraîné sur un corpus de haute qualité de 780 milliards de jetons, comprenant des pages web filtrées, des livres, des articles Wikipédia, des articles de presse, du code source provenant de dépôts open-source sur GitHub et des conversations sur les réseaux sociaux. La partie des conversations sur les réseaux sociaux constituait 50 % du corpus, améliorant les capacités conversationnelles. Les données d'entraînement de PaLM 2 ont été étendues à 3,6 billions de jetons, permettant une meilleure généralisation et des performances multilingues.
Le PaLM 540B original a été entraîné sur deux pods TPU v4, chacun avec 3 072 puces TPU v4 reliées à 768 hôtes, en utilisant une combinaison de parallélisme de modèle et de données. Cette configuration, totalisant 6 144 puces, a marqué un record pour la plus haute efficacité d'entraînement atteinte pour des LLM à cette échelle, avec une utilisation matérielle de 57,8 % des FLOPs. Les détails d'entraînement de PaLM 2 sont moins documentés publiquement, mais il a probablement utilisé une infrastructure similaire, reflétant l'investissement de Google dans Google Cloud et le matériel spécialisé.
Capacités et applications
PaLM 2 est conçu pour exceller dans les tâches multilingues, le raisonnement et la programmation. Il alimente Bard, l'IA conversationnelle de Google, et est intégré dans d'autres produits comme Google Workspace et les services d'IA de Google Cloud. Les capacités multilingues améliorées du modèle lui permettent de gérer la traduction, la synthèse et les questions-réponses dans plusieurs langues plus efficacement que les modèles antérieurs. Ses capacités de raisonnement sont renforcées par des techniques comme le prompt par chaîne de pensée, permettant une résolution de problèmes en plusieurs étapes.
En programmation, PaLM 2 prend en charge la génération de code et le débogage dans plusieurs langages de programmation, ce qui en fait un outil pour les développeurs. La polyvalence du modèle est démontrée dans des applications allant de la recherche en Machine learning aux solutions d'entreprise. Google a positionné PaLM 2 comme un modèle fondateur pour son écosystème d'IA, en concurrence avec les offres de OpenAI et Anthropic.
Comparaison avec d'autres modèles
Les 340 milliards de paramètres de PaLM 2 le placent dans la catégorie supérieure des Large language models, bien qu'il soit plus petit que certains concurrents comme GPT-4 d'OpenAI, qui est rapporté comme ayant plus d'un billion de paramètres dans une architecture de mélange d'experts. Cependant, l'entraînement de PaLM 2 sur 3,6 billions de jetons et son accent sur l'efficacité lui permettent d'atteindre des performances compétitives sur les références. L'architecture du modèle, basée sur le cadre Transformer (architecture), est similaire à celle d'autres LLM, mais les techniques d'entraînement propriétaires et l'infrastructure de Google lui donnent des avantages distincts en matière d'évolutivité.
Comparé à son prédécesseur PaLM, PaLM 2 offre des améliorations significatives en compréhension multilingue et en raisonnement, ainsi que des exigences computationnelles réduites pour l'inférence. Cela le rend plus accessible pour le déploiement dans des applications réelles. L'intégration de PaLM 2 dans des produits comme Bard et Vertex AI de Google Cloud a élargi sa portée, le positionnant comme un acteur clé dans le paysage de l'Artificial intelligence.
Impact et réception
Le lancement de PaLM 2 en mai 2023 a été accueilli avec attention par la communauté de l'IA et les observateurs de l'industrie. Il a démontré l'engagement de Google à faire progresser les technologies de Deep learning et de Neural network, en particulier dans le domaine concurrentiel de l'IA générative. Les capacités multilingues améliorées du modèle ont été considérées comme un pas en avant pour rendre l'IA accessible aux non-anglophones, et ses compétences en programmation ont séduit les développeurs.
Cependant, PaLM 2 a également soulevé des questions sur l'impact environnemental de l'entraînement de grands modèles, bien que Google ait souligné des améliorations d'efficacité. L'intégration du modèle dans Bard a suscité des discussions sur l'éthique de l'IA, notamment les problèmes de biais et de désinformation, qui sont des préoccupations courantes pour les systèmes de Generative AI. Google a mis en œuvre des mesures de sécurité, mais les implications plus larges restent un sujet de débat.
Orientations futures
Après PaLM 2, Google a continué à faire évoluer ses modèles d'IA. Fin 2023, Google a annoncé Gemini, un successeur de PaLM 2, qui intègre des capacités multimodales et est conçu pour être plus puissant et polyvalent. L'architecture et les méthodes d'entraînement de PaLM 2 ont influencé les développements ultérieurs, notamment les améliorations des techniques de Multi-Head Attention et de Positional Encoding. L'héritage du modèle est évident dans les efforts continus de Google pour repousser les limites de l'Artificial intelligence, avec des applications allant de la santé à la robotique.
En 2025, PaLM 2 reste une étape importante dans l'histoire des LLM, représentant un pont entre des modèles antérieurs comme LaMDA et des systèmes plus avancés comme Gemini. Ses contributions à l'IA multilingue et à l'entraînement efficace ont eu un impact durable sur le domaine, et ses principes continuent d'informer la recherche chez Google DeepMind et au-delà.
Voir aussi
- LaMDA, prédécesseur de PaLM
- Gemini, successeur de PaLM
- Chinchilla, un LLM connexe
- Transformer (architecture), l'architecture sous-jacente
- Google Cloud, infrastructure pour l'entraînement
Références
- Blog Google AI, mai 2023, annonce de PaLM 2
- Wikipédia, PaLM (Pathways Language Model), consulté en 2025
- Google Research, PaLM : Scaling Language Modeling with Pathways, 2022