Iosif Lazaridis es un científico de la computación cuya investigación se centra en el comportamiento de escalado de los modelos de lenguaje de gran tamaño. Es conocido principalmente por coautorar el artículo de 2022 "Training Compute-Optimal Large Language Models", que introdujo las leyes de escalado de Chinchilla, y por contribuir al modelo Gopher. Su trabajo ha influido en cómo los investigadores y las empresas asignan recursos computacionales al entrenar modelos de lenguaje de gran tamaño.
Las contribuciones de Lazaridis se sitúan en la intersección de la teoría del aprendizaje automático y la ingeniería práctica. Al analizar sistemáticamente cómo interactúan el tamaño del modelo, el tamaño del conjunto de datos y el presupuesto computacional, ayudó a establecer pautas que se han convertido en estándar en el campo. Sus hallazgos han sido ampliamente adoptados tanto por laboratorios académicos como por grupos de investigación industrial, incluidos los de Google DeepMind, donde realizó gran parte de su investigación.
Leyes de Escalado de Chinchilla
El resultado central del trabajo de Lazaridis con el modelo Chinchilla fue la derivación de leyes de escalado que especifican la proporción óptima de parámetros del modelo a tokens de entrenamiento para un presupuesto computacional dado. El equipo descubrió que muchos modelos existentes, incluido Gopher, estaban significativamente sobreparametrizados y subentrenados. Para un presupuesto computacional fijo, el tamaño óptimo del modelo crece aproximadamente en proporción a la quinta potencia del presupuesto computacional, mientras que el número de tokens de entrenamiento debería crecer aproximadamente en proporción a la potencia de tres quintos.
Esta idea llevó a la creación de Chinchilla, un modelo de 70 mil millones de parámetros entrenado con 1,4 billones de tokens. A pesar de tener menos parámetros que Gopher (280 mil millones), Chinchilla superó a Gopher en una amplia gama de puntos de referencia, demostrando que un entrenamiento computacionalmente eficiente podía producir un mejor rendimiento. Los hallazgos del artículo se han convertido desde entonces en un punto de referencia para las decisiones de entrenamiento tanto en el ámbito académico como en la industria.
Gopher y el Camino hacia Chinchilla
Antes del artículo de Chinchilla, Lazaridis contribuyó al desarrollo de Gopher, un modelo transformador de 280 mil millones de parámetros. Gopher fue parte de un esfuerzo más amplio en DeepMind para ampliar los límites del modelado de lenguaje. El artículo de Gopher, publicado en 2021, analizó el rendimiento del modelo en 152 tareas diversas, mostrando que aumentar el tamaño del modelo generalmente mejoraba el rendimiento, pero con rendimientos decrecientes en algunas tareas.
El análisis del entrenamiento y la evaluación de Gopher proporcionó la base empírica para el trabajo de Chinchilla. Al comparar modelos de diferentes tamaños entrenados con diferentes cantidades de datos, el equipo pudo aislar los efectos de la capacidad del modelo frente a los datos de entrenamiento. Este enfoque sistemático fue una contribución metodológica clave, yendo más allá de las simples curvas de escalado hacia una comprensión más matizada del entrenamiento computacionalmente óptimo.
Impacto en el Campo
Las leyes de escalado de Chinchilla han tenido un impacto profundo en cómo se entrenan los modelos de gran tamaño. Antes de su publicación, muchas organizaciones seguían la tendencia de aumentar los parámetros del modelo mientras mantenían el conjunto de datos de entrenamiento relativamente fijo. Los resultados de Chinchilla sugirieron que este enfoque era subóptimo, llevando a muchos a cambiar hacia entrenar modelos más pequeños con conjuntos de datos más grandes.
Este cambio es evidente en modelos posteriores de diversas organizaciones. Por ejemplo, el GPT-3 de OpenAI tenía 175 mil millones de parámetros entrenados con 300 mil millones de tokens, lo que el análisis de Chinchilla sugirió que estaba sobreparametrizado. Modelos posteriores, como los de la serie LLaMA de Meta, adoptaron explícitamente la proporción de Chinchilla, entrenando modelos de 65 mil millones de parámetros con 1,4 billones de tokens. Los principios también han influido en las decisiones en Anthropic y otros laboratorios, dando forma al diseño de modelos como Claude.
Metodología y Contribuciones Más Amplias
Más allá de los resultados específicos, el trabajo de Lazaridis ejemplifica un enfoque empírico riguroso para comprender las redes neuronales. El artículo de Chinchilla implicó una experimentación extensa, entrenando más de 400 modelos con diferentes recuentos de parámetros y presupuestos de tokens. Este análisis empírico a gran escala requirió una ingeniería cuidadosa y métodos estadísticos para garantizar conclusiones fiables.
La investigación de Lazaridis también aborda temas como la aumentación de datos y el papel de la calidad de los datos de entrenamiento. Aunque el artículo de Chinchilla se centró principalmente en la cantidad, trabajos posteriores han explorado cómo la composición y la curación de los conjuntos de datos afectan el comportamiento de escalado. Sus contribuciones han ayudado a establecer las leyes de escalado como una herramienta fundamental para razonar sobre el desarrollo de modelos, similar al papel de los programas de tasa de aprendizaje en la optimización.
Legado y Direcciones Actuales
A mediados de la década de 2020, Lazaridis continúa trabajando en el campo de la inteligencia artificial, aunque sus proyectos específicos actuales no son ampliamente publicitados. Su trabajo con DeepMind ha sido citado miles de veces, y el artículo de Chinchilla se considera una de las publicaciones más influyentes en la historia reciente del aprendizaje profundo.
Los principios que ayudó a establecer ahora se enseñan en cursos universitarios sobre aprendizaje automático a gran escala y se aplican rutinariamente en la industria. El cambio hacia el entrenamiento computacionalmente óptimo también ha tenido implicaciones económicas, ya que afecta el costo del entrenamiento y la huella ambiental de la investigación en IA. Al proporcionar un marco claro para equilibrar cómputo, datos y tamaño del modelo, la investigación de Lazaridis ha contribuido a hacer que el desarrollo de IA a gran escala sea más eficiente y accesible.