PaLM (Pathways Language Model) est un grand modèle de langage développé par Google AI, annoncé pour la première fois en avril 2022. Il s'agit d'un modèle dense basé sur l'architecture transformeur, uniquement décodeur, avec 540 milliards de paramètres, ce qui en fait l'un des plus grands modèles de langage à sa sortie. Le modèle a été entraîné à l'aide du système Pathways de Google, qui permet un entraînement efficace sur plusieurs pods TPU. Les chercheurs ont également entraîné des versions plus petites avec 8 et 62 milliards de paramètres pour étudier les effets de l'échelle du modèle sur les performances.
PaLM a démontré de fortes capacités sur une large gamme de tâches, notamment le raisonnement de sens commun, le raisonnement arithmétique, l'explication de blagues, la génération de code et la traduction. Combiné à l'incitation par chaîne de pensée, PaLM a obtenu des performances nettement meilleures sur des ensembles de données nécessitant un raisonnement en plusieurs étapes, comme les problèmes de mots et les questions basées sur la logique. Le modèle est resté privé jusqu'en mars 2023, lorsque Google a lancé une API pour PaLM, initialement disponible pour un nombre limité de développeurs via une liste d'attente avant sa sortie publique.
Architecture et entraînement
PaLM est basé sur l'architecture transformeur, spécifiquement une conception uniquement décodeur. La version 540B a été pré-entraînée sur un corpus de 780 milliards de jetons comprenant des pages web filtrées, des livres, des articles Wikipédia, des articles de presse, du code source provenant de dépôts GitHub et des conversations sur les réseaux sociaux. L'ensemble de données a été dérivé de celui utilisé pour entraîner le modèle LaMDA de Google, les conversations sur les réseaux sociaux constituant 50 % du corpus pour améliorer les capacités conversationnelles.
L'entraînement du modèle 540B a nécessité deux pods TPU v4, chacun avec 3 072 puces TPU v4 attachées à 768 hôtes, connectés en utilisant une combinaison de parallélisme de modèle et de données. Cette configuration, totalisant 6 144 puces, était la plus grande installation TPU à l'époque et a atteint une utilisation des FLOPs matériels de 57,8 %, un record pour l'efficacité d'entraînement à cette échelle. Le processus d'entraînement a tiré parti du système Pathways, qui permettait une mise à l'échelle efficace sur plusieurs pods.
Variantes et applications
Google et DeepMind ont développé Med-PaLM, une version de PaLM 540B affinée sur des données médicales. Med-PaLM a surpassé les modèles précédents sur les références de questions-réponses médicales et a été le premier à obtenir un score de réussite aux questions de licence médicale américaine. Il fournit un raisonnement pour ses réponses et peut évaluer ses propres réponses.
Google a également étendu PaLM avec un transformeur de vision pour créer PaLM-E, un modèle vision-langage pour la manipulation robotique qui ne nécessite pas de réentraînement ou d'affinage pour de nouvelles tâches. En juin 2023, Google a annoncé AudioPaLM pour la traduction de parole à parole, qui utilise l'architecture et l'initialisation de PaLM-2.
Successeur : PaLM 2
En mai 2023, Google a annoncé PaLM 2 lors du discours d'ouverture annuel de Google I/O. PaLM 2 est rapporté comme un modèle de 340 milliards de paramètres entraîné sur 3,6 billions de jetons. Il sert de successeur à PaLM et alimente divers produits et services Google. PaLM 2 a amélioré son prédécesseur dans des domaines tels que les capacités multilingues, le raisonnement et le codage, et a été rendu disponible via l'API PaLM et d'autres services Google Cloud.
Impact et héritage
PaLM a représenté une étape significative dans le développement des grands modèles de langage, démontrant la faisabilité d'entraîner des modèles à une échelle sans précédent en utilisant des systèmes distribués. Son succès a influencé les modèles ultérieurs, y compris Gemini, qui a succédé à PaLM en tant que modèle de langage phare de Google. Les contributions de PaLM à l'incitation par chaîne de pensée et aux extensions multimodales comme PaLM-E ont également fait progresser la recherche dans le raisonnement et l'IA incarnée.
Voir aussi
- LaMDA - Prédécesseur de PaLM
- Gemini - Successeur de PaLM
- Chinchilla - Un modèle de langage connexe