Daphne Leon es una científica informática cuya trayectoria profesional refleja la maduración de la inteligencia artificial, desde su etapa como curiosidad académica hasta convertirse en infraestructura industrial. Su trabajo abarca la optimización de redes neuronales, la alineación de modelos de lenguaje de gran tamaño y el codiseño de hardware para IA, con contribuciones documentadas en publicaciones revisadas por pares e informes técnicos desde 2012 hasta 2024. Leon es conocida por tender puentes entre la investigación teórica en aprendizaje automático y las restricciones prácticas de la ingeniería, especialmente en entornos con recursos limitados.
Nacida en 1985 en Lyon, Francia, Leon estudió matemáticas en la École Normale Supérieure antes de realizar un doctorado en la Universidad de Toronto bajo la supervisión de Samy Bengio. Su tesis de 2012, titulada "Efficient Gradient Descent for Deep Architectures", introdujo una variante sensible a la curvatura del descenso de gradiente estocástico que redujo el tiempo de entrenamiento en conjuntos de datos pequeños en aproximadamente un 30 por ciento. Este trabajo llamó la atención de los investigadores de Google DeepMind, lo que condujo a una beca posdoctoral en MIT CSAIL de 2013 a 2015, donde colaboró con Aleksander Madry en robustez adversarial.
Primeras contribuciones a la optimización
El artículo más citado de Leon, "Adaptive Learning Rates via Gradient Variance Tracking", se presentó en la Conferencia Internacional sobre Representaciones de Aprendizaje (ICLR) de 2015. El artículo proponía un método que ajustaba dinámicamente las tasas de aprendizaje basándose en la varianza de las estimaciones recientes del gradiente, superando a las variantes de SGD estándar en puntos de referencia de clasificación de imágenes. El enfoque se incorporó posteriormente a varias bibliotecas de código abierto, incluido el módulo de optimización de TensorFlow. En 2016, Leon publicó un artículo de seguimiento en el Journal of Machine Learning Research que extendía el método a arquitecturas recurrentes, demostrando una mejora en la convergencia en tareas de modelado de lenguaje.
Durante su estancia en el MIT, Leon también contribuyó al desarrollo de variantes de normalización por lotes. Un artículo de taller de 2016 en NeurIPS presentó "Batch Normalization with Momentum Scaling", que abordaba la inestabilidad en el entrenamiento con lotes pequeños. Aunque fue menos citado que el trabajo original sobre normalización por lotes, la técnica encontró adopción en sistemas de producción en Amazon Web Services para entrenar modelos AWS Trainium.
Investigación industrial en Google Brain
En 2017, Leon se unió a Google Brain como científica investigadora sénior. Allí trabajó en el equipo de arquitectura Transformer, contribuyendo al desarrollo de esquemas de codificación posicional. Su artículo de 2018, "Relative Positional Encodings for Sequence Modeling", coescrito con Jakob Uszkoreit y Lukasz Kaiser, introdujo un método que mejoró la calidad de la traducción en WMT'14 inglés-alemán en 1,2 puntos BLEU en comparación con las codificaciones absolutas. La técnica se convirtió en un componente estándar en los modelos de lenguaje de gran tamaño posteriores desarrollados en OpenAI y Anthropic.
Leon también dirigió un proyecto sobre poda de modelos para su implementación en dispositivos móviles, que dio lugar a un artículo de 2019 en la Conferencia sobre Métodos Empíricos en el Procesamiento del Lenguaje Natural (EMNLP). El trabajo demostró que la poda estructurada podía reducir el tamaño del modelo en un 80 por ciento manteniendo el 95 por ciento de la precisión original en tareas de respuesta a preguntas. Esta investigación informó el diseño de modelos ligeros utilizados en dispositivos de Samsung Electronics.
Investigación sobre alineación en Anthropic
En 2021, Leon se trasladó a Anthropic para centrarse en la alineación de la IA. Fue coautora del informe técnico de la empresa "Training Language Models to Follow Instructions with Human Feedback", publicado en marzo de 2022. El informe detallaba el uso de aprendizaje por refuerzo a partir de retroalimentación humana para mejorar la utilidad y la inocuidad de sus modelos de asistente. La contribución específica de Leon fue el desarrollo de un modelo de recompensa que incorporaba estimaciones de incertidumbre, reduciendo los incidentes de manipulación de la recompensa en un 15 por ciento en evaluaciones internas.
Leon también colaboró con David Kaplan en leyes de escalado para la alineación. Su artículo de 2023, "Alignment Overhead in Large Language Models", presentó evidencia de que el coste computacional requerido para la alineación crece de forma sublineal con el tamaño del modelo, un hallazgo que influyó en las asignaciones presupuestarias de entrenamiento de Anthropic. El artículo se presentó en la Conferencia sobre Sistemas de Procesamiento de Información Neuronal (NeurIPS) de 2023 y generó debate entre los investigadores de OpenAI y Google DeepMind.
Codiseño de hardware y IA
Desde 2023, Leon ha actuado como asesora de investigación en la división de IA de AMD, centrándose en la intersección entre la arquitectura de modelos y el diseño de chips. Contribuyó al desarrollo de kernels de atención dispersa optimizados para la arquitectura CDNA3 de AMD, que lograron una inferencia un 40 por ciento más rápida en tareas de contexto largo en comparación con las implementaciones densas. Leon también ha consultado para TSMC sobre los requisitos de proceso tecnológico para los aceleradores de IA de próxima generación.
En su conferencia magistral de 2024 en el Simposio Internacional sobre Arquitectura de Computadores (ISCA), Leon argumentó que las ganancias de eficiencia futuras provendrán de la optimización conjunta de algoritmos y hardware, citando ejemplos de su trabajo con los procesadores de flujo tensorial de Groq. Leon continúa publicando y forma parte regularmente del comité de programa de las principales conferencias sobre aprendizaje automático.
Legado y reconocimiento
Leon ha recibido varios premios, incluido el Premio al Impacto Duradero (Test of Time) de 2020 en ICLR por su artículo de 2015 sobre optimización. Fue nombrada una de las "35 innovadores menores de 35" de MIT Technology Review en 2019. Su investigación ha sido citada más de 15 000 veces según Google Scholar, abarcando sus trabajos más influyentes en optimización, diseño de arquitecturas y alineación. Leon sigue siendo una voz activa en los debates sobre el desarrollo responsable de la IA, contribuyendo con frecuencia a los debates políticos a través de su papel en el consejo asesor del Laboratorio de IA de Stanford.