PaLM (Pathways Language Model) es un modelo de lenguaje grande desarrollado por Google AI, anunciado por primera vez en abril de 2022. Es un modelo denso basado en transformadores, solo de decodificador, con 540 mil millones de parámetros, lo que lo convierte en uno de los modelos de lenguaje más grandes en el momento de su lanzamiento. El modelo fue entrenado utilizando el sistema Pathways de Google, que permite un entrenamiento eficiente en múltiples grupos de TPU. Los investigadores también entrenaron versiones más pequeñas con 8 y 62 mil millones de parámetros para estudiar los efectos de la escala del modelo en el rendimiento.
PaLM demostró capacidades sólidas en una amplia gama de tareas, incluyendo razonamiento de sentido común, razonamiento aritmético, explicación de chistes, generación de código y traducción. Cuando se combinó con el prompting de cadena de pensamiento, PaLM logró un rendimiento significativamente mejor en conjuntos de datos que requieren razonamiento de múltiples pasos, como problemas de palabras y preguntas basadas en lógica. El modelo permaneció privado hasta marzo de 2023, cuando Google lanzó una API para PaLM, inicialmente disponible para un número limitado de desarrolladores a través de una lista de espera antes de su lanzamiento público.
Arquitectura y Entrenamiento
PaLM se basa en la arquitectura transformador, específicamente un diseño solo de decodificador. La versión de 540B fue preentrenada en un corpus de 780 mil millones de tokens que comprende páginas web filtradas, libros, artículos de Wikipedia, noticias, código fuente de repositorios de GitHub y conversaciones en redes sociales. El conjunto de datos se derivó del utilizado para entrenar el modelo LaMDA de Google, con conversaciones en redes sociales que constituyen el 50% del corpus para mejorar las capacidades conversacionales.
El entrenamiento del modelo de 540B requirió dos Pods de TPU v4, cada uno con 3,072 chips TPU v4 conectados a 768 hosts, utilizando una combinación de paralelismo de modelo y datos. Esta configuración, que totaliza 6,144 chips, fue el mayor arreglo de TPU en ese momento y logró una utilización de FLOPs de hardware del 57.8%, un récord de eficiencia de entrenamiento a esa escala. El proceso de entrenamiento aprovechó el sistema Pathways, que permitió un escalado eficiente en múltiples pods.
Variantes y Aplicaciones
Google y DeepMind desarrollaron Med-PaLM, una versión de PaLM 540B ajustada con datos médicos. Med-PaLM superó a modelos anteriores en puntos de referencia de respuesta a preguntas médicas y fue el primero en obtener una puntuación aprobatoria en preguntas de licencia médica de EE. UU. Proporciona razonamiento para sus respuestas y puede evaluar sus propias respuestas.
Google también extendió PaLM con un transformador de visión para crear PaLM-E, un modelo de visión-lenguaje para manipulación robótica que no requiere reentrenamiento ni ajuste fino para nuevas tareas. En junio de 2023, Google anunció AudioPaLM para traducción de voz a voz, que utiliza la arquitectura e inicialización de PaLM-2.
Sucesor: PaLM 2
En mayo de 2023, Google anunció PaLM 2 en el discurso de apertura anual de Google I/O. Se informa que PaLM 2 es un modelo de 340 mil millones de parámetros entrenado en 3.6 billones de tokens. Sirve como sucesor de PaLM y impulsa varios productos y servicios de Google. PaLM 2 mejoró respecto a su predecesor en áreas como capacidades multilingües, razonamiento y codificación, y se puso a disposición a través de la API de PaLM y otros servicios de Google Cloud.
Impacto y Legado
PaLM representó un paso significativo en el desarrollo de modelos de lenguaje grandes, demostrando la viabilidad de entrenar modelos a una escala sin precedentes utilizando sistemas distribuidos. Su éxito influyó en modelos posteriores, incluido Gemini, que sucedió a PaLM como el modelo de lenguaje insignia de Google. Las contribuciones de PaLM al prompting de cadena de pensamiento y las extensiones multimodales como PaLM-E también avanzaron la investigación en razonamiento y IA encarnada.
Véase También
- LaMDA - Predecesor de PaLM
- Gemini - Sucesor de PaLM
- Chinchilla - Un modelo de lenguaje relacionado