Sebastian Borgeaud es un científico investigador en Google DeepMind, conocido por su trabajo sobre leyes de escalado, arquitectura de modelos y eficiencia de entrenamiento en modelos de lenguaje de gran tamaño. Es coautor del artículo de 2022 "Training Compute-Optimal Large Language Models", que introdujo el modelo Chinchilla y reformuló el enfoque de la comunidad de IA hacia el tamaño del modelo y la asignación de datos de entrenamiento. Su investigación ha influido en el diseño de sistemas de IA a gran escala posteriores, incluidos los de OpenAI y Anthropic.
El trabajo de Borgeaud se sitúa en la intersección de la teoría del aprendizaje automático y la ingeniería práctica, con un enfoque en comprender el comportamiento empírico de las redes neuronales bajo diferentes presupuestos computacionales. Ha contribuido a múltiples proyectos en DeepMind, que van desde el modelado de lenguaje hasta sistemas multimodales, y sus hallazgos son ampliamente citados en el campo de la inteligencia artificial.
Leyes de escalado y el artículo de Chinchilla
El artículo de Chinchilla, publicado en marzo de 2022, estableció un nuevo paradigma para el entrenamiento de modelos de lenguaje de gran tamaño. Borgeaud y sus colegas, incluidos Jordan Hoffmann y Llion Jones, demostraron que, para un presupuesto computacional dado, el tamaño óptimo del modelo y el número de tokens de entrenamiento escalan aproximadamente de manera igual, en lugar de que el tamaño del modelo crezca más rápido que los datos. Esto contradijo las suposiciones anteriores de las leyes de escalado de Kaplan de 2020, que sugerían que el tamaño del modelo debería aumentar más rápidamente que los datos.
Específicamente, el equipo encontró que un modelo de 70 mil millones de parámetros entrenado con 1,4 billones de tokens superaba a modelos mucho más grandes como Gopher (280 mil millones de parámetros) y GPT-3 (175 mil millones de parámetros) en una variedad de puntos de referencia. La recomendación práctica del artículo - que la mayoría de los modelos existentes estaban significativamente subentrenados - condujo a un cambio en las prácticas de entrenamiento en toda la industria, con empresas como OpenAI y DeepMind aumentando sus proporciones de datos a parámetros en lanzamientos posteriores.
Contribuciones a la arquitectura y el entrenamiento de modelos
Más allá de las leyes de escalado, Borgeaud ha trabajado en mejorar la eficiencia y estabilidad del entrenamiento de redes profundas. Ha contribuido a la investigación sobre variantes de atención de múltiples cabezas, codificaciones posicionales y técnicas de normalización de capas que ahora son estándar en los modelos basados en transformadores. Su trabajo a menudo involucra entrenamiento distribuido a gran escala, donde ha ayudado a desarrollar métodos para reducir el uso de memoria y la sobrecarga de comunicación.
Un área notable de su investigación es el uso de la generación aumentada por recuperación, donde los modelos acceden a conocimiento externo durante la inferencia. Borgeaud coautoró el artículo de 2021 "Improving Language Models by Retrieving from Trillions of Tokens", que introdujo el modelo RETRO (Retrieval-Enhanced Transformer). RETRO demostró que un modelo de 7,5 mil millones de parámetros con recuperación podía igualar el rendimiento de un modelo de 70 mil millones de parámetros sin recuperación en ciertas tareas, destacando el potencial de combinar memoria paramétrica y no paramétrica.
Impacto en la comunidad de IA
Los hallazgos de Borgeaud han tenido un impacto medible en la comunidad más amplia del aprendizaje automático. Las leyes de escalado del artículo de Chinchilla son ahora una referencia estándar en artículos académicos e informes de la industria, y han influido en el diseño de modelos como el GPT-4 de OpenAI y el Claude de Anthropic. Su énfasis en el entrenamiento óptimo en cuanto a cómputo también ha provocado discusiones sobre los costos ambientales y económicos de la IA, mientras los investigadores buscan lograr un mejor rendimiento con menos recursos.
Además de su investigación, Borgeaud ha participado en la apertura de herramientas y conjuntos de datos. Ha contribuido a las bibliotecas de código abierto de DeepMind y ha hablado en conferencias importantes, incluidas NeurIPS e ICML, donde ha compartido ideas sobre escalado y evaluación. Su trabajo es frecuentemente citado en el contexto de la IA generativa y el desarrollo de regímenes de entrenamiento más eficientes.
Trabajo actual y direcciones futuras
A partir de 2024, Borgeaud continúa trabajando en Google DeepMind, centrándose en arquitecturas de modelos de próxima generación y métodos de entrenamiento. Sus proyectos recientes exploran formas de reducir el costo computacional de la inferencia, como el poda de modelos y la cuantización, así como mejorar la alineación de los modelos con los valores humanos mediante técnicas como RLHF (Aprendizaje por Refuerzo a partir de Retroalimentación Humana).
También está interesado en la intersección del aprendizaje profundo y la neurociencia, inspirándose en sistemas biológicos para diseñar algoritmos de aprendizaje más eficientes. Si bien los detalles específicos de sus proyectos en curso no son públicos, su historial sugiere que sus contribuciones futuras seguirán dando forma a la trayectoria de la investigación en inteligencia artificial.
Publicaciones seleccionadas
- "Training Compute-Optimal Large Language Models" (2022, con Jordan Hoffmann, Llion Jones, et al.)
- "Improving Language Models by Retrieving from Trillions of Tokens" (2021, con Jack Rae, et al.)
- "An Empirical Analysis of Compute-Optimal Inference for Problem-Solving with Language Models" (2023, con colaboradores)
Estos artículos se encuentran entre los más citados en el campo, y sus metodologías son ampliamente adoptadas tanto en entornos académicos como industriales.