Jack Rae es un informático especializado en aprendizaje automático y modelos de lenguaje de gran tamaño. Es conocido principalmente por su trabajo en Google DeepMind, donde fue un contribuyente clave en las leyes de escalado de Chinchilla, un estudio fundamental que reformuló cómo los investigadores abordan el escalado de modelos y datos en aprendizaje profundo. Su investigación ha influido en el diseño de sistemas posteriores de IA generativa y en el campo más amplio de la inteligencia artificial.
La carrera de Rae abarca tanto la investigación académica como la aplicación industrial. Ha estado afiliado a organizaciones líderes en IA, incluyendo DeepMind y, a partir de mediados de la década de 2020, Anthropic, donde ha continuado trabajando en el avance de las capacidades y la seguridad de los modelos de lenguaje de gran tamaño. Sus contribuciones son citadas con frecuencia en discusiones sobre el entrenamiento eficiente y las compensaciones entre el tamaño del modelo y el tamaño del conjunto de datos.
Leyes de escalado de Chinchilla
En 2022, Rae coescribió el artículo "Training Compute-Optimal Large Language Models", que introdujo el modelo Chinchilla. El estudio demostró que, para un presupuesto computacional dado, el tamaño óptimo del modelo y el número de tokens de entrenamiento escalan aproximadamente de manera proporcional, lo que implica que muchos modelos grandes existentes estaban sobredimensionados y subentrenados. Este hallazgo provocó un cambio en el campo, con modelos posteriores como Chinchilla entrenados con más datos y menos parámetros para lograr un mejor rendimiento por unidad de cómputo. El trabajo se ha convertido en una referencia fundamental para entrenar modelos basados en transformadores, influyendo tanto en la investigación académica como en las prácticas industriales de empresas como OpenAI y Anthropic.
Contribuciones a la investigación
Más allá de Chinchilla, Rae ha trabajado en diversos aspectos de las redes neuronales y el modelado secuencial. Su investigación inicial incluyó trabajo sobre mecanismos de atención dispersa y arquitecturas con memoria aumentada, que buscan mejorar la eficiencia y el manejo de dependencias de largo alcance en los transformadores. También ha explorado temas como los codificaciones posicionales y variantes de atención multi-cabeza, contribuyendo a una comprensión más profunda de cómo estos componentes afectan el rendimiento del modelo. Sus publicaciones suelen enfatizar el análisis empírico y las mejoras prácticas por encima de los avances puramente teóricos.
Carrera y afiliaciones
Rae completó su doctorado en informática en la Universidad de Toronto, donde trabajó bajo la supervisión de Aaron Courville y otros. Su investigación doctoral se centró en el aprendizaje profundo para datos secuenciales, sentando las bases para su trabajo posterior en modelos de lenguaje. Tras graduarse, se unió a DeepMind en Londres, donde se convirtió en científico investigador sénior. En DeepMind, lideró o contribuyó a varios proyectos de alto impacto, incluidos los modelos Gopher y Chinchilla. En 2024, se trasladó a Anthropic, donde ha participado en el desarrollo y la alineación de modelos de lenguaje de gran tamaño, con un enfoque en la seguridad y la fiabilidad.
Impacto en el desarrollo de la IA
Las leyes de escalado de Chinchilla han tenido un impacto profundo en la industria de la IA generativa. Al destacar la importancia de la eficiencia en los datos, alentaron a las organizaciones a invertir más en la recopilación y curación de datos en lugar de simplemente aumentar el tamaño del modelo. Esto ha influido en las estrategias de entrenamiento de los principales laboratorios de IA, incluidos Google DeepMind, OpenAI y Anthropic, así como en los proveedores de infraestructura de IA como Amazon Web Services y Google Cloud. Los principios del artículo ahora son consideraciones estándar en el diseño de modelos de lenguaje de gran tamaño, afectando desde los programas de tasa de aprendizaje hasta las técnicas de poda de modelos.
Obras seleccionadas y reconocimiento
Rae es coautor de varios artículos influyentes, incluidos "Scaling Language Models: Methods, Analysis & Insights from Training Gopher" y "Training Compute-Optimal Large Language Models". Su trabajo ha sido presentado en conferencias importantes como NeurIPS e ICML, y ha sido invitado a hablar en eventos académicos e industriales. Aunque no ha recibido premios ampliamente publicitados, su investigación es muy citada y ha sido reconocida como una contribución clave al campo de la inteligencia artificial. También es conocido por su comunicación clara de ideas complejas, explicando a menudo el escalado de modelos y el entrenamiento en términos accesibles tanto para audiencias técnicas como generales.
Direcciones futuras
A mediados de la década de 2020, Rae continúa trabajando en mejorar la eficiencia y la seguridad de los modelos de lenguaje de gran tamaño. Sus intereses actuales incluyen el desarrollo de mejores métodos de selección de datos, la reducción del impacto ambiental del entrenamiento y la garantía de que los sistemas de IA se alineen con los valores humanos. Su traslado a Anthropic señala un enfoque en estos últimos aspectos, ya que la organización está dedicada a la investigación en seguridad de la IA. Dada la rápida evolución del campo, es probable que las contribuciones continuas de Rae sigan siendo influyentes en la configuración de cómo se entrenan y despliegan los modelos futuros.