Naman Goyal es un informático e investigador en inteligencia artificial. Es conocido principalmente por coautorar BART, un autoencoder de denoising para el preentrenamiento de modelos de secuencia a secuencia, y por sus contribuciones a Fairseq, una biblioteca de aprendizaje profundo de código abierto ampliamente utilizada. Su trabajo ha influido en el desarrollo de los modernos modelos de lenguaje grandes.
La investigación de Goyal se sitúa dentro del campo del aprendizaje automático, particularmente en áreas relacionadas con el aprendizaje de secuencia a secuencia y el preentrenamiento. Sus contribuciones conectan arquitecturas fundamentales con herramientas prácticas para entrenar modelos grandes.
BART y preentrenamiento
Goyal formó parte del equipo que lanzó BART en 2019. La arquitectura de BART combina un codificador bidireccional y un decodificador autorregresivo, utilizando un objetivo de denoising para preentrenar sobre texto corrupto. Este enfoque permitió al modelo generar resultados de alta calidad para tareas como resumen y traducción. El artículo presentó el modelo con hasta 400 millones de parámetros, y logró resultados de última generación en varios puntos de referencia, incluidos el Stanford Question Answering Dataset y GLUE.
BART fue un paso significativo en el preentrenamiento porque unificó y amplió ideas de modelos anteriores como BERT y GPT. En lugar de usar solo un objetivo estándar de modelo de lenguaje, BART corrompía el texto con varias funciones de ruido, incluido el enmascaramiento de tokens y la permutación de orden. El papel de Goyal contribuyó al éxito empírico del enfoque, que demostró que el preentrenamiento de secuencia a secuencia podía ser tan efectivo como los modelos puros de codificador o decodificador.
Kit de herramientas Fairseq
Simultáneamente, Goyal contribuyó a Fairseq, una biblioteca de software desarrollada en Meta AI (anteriormente Facebook AI Research). Fairseq admite el entrenamiento de modelos para traducción, resumen y otras tareas de secuencia. Utiliza PyTorch y proporciona implementaciones eficientes para transformadores y otras arquitecturas. La biblioteca fue de código abierto y ha sido ampliamente adoptada en el ámbito académico y en otros laboratorios.
Fairseq introdujo técnicas como inicialización de pesos, normalización de capas y programación de tasa de aprendizaje que hicieron más estable el entrenamiento de redes profundas. La participación de Goyal en Fairseq ayudó en la ingeniería y los experimentos, convirtiéndola en una herramienta estándar para la investigación.
Contribuciones al escalado de modelos
En trabajos relacionados, Goyal exploró cuestiones como recorte de gradientes y muestreo top-p. También participó en investigaciones sobre escalado y entrenamiento con lotes grandes que afectaron cómo los profesionales abordan el preentrenamiento. Por ejemplo, el trabajo de principios de 2020 sobre leyes de escalado de modelos para modelos de lenguaje neuronales demostró que la computación, los datos y los parámetros deben estar en equilibrio; esta línea de investigación influyó en el diseño de modelos grandes.
Goyal también estuvo entre los investigadores que publicaron el conjunto de datos Natural Questions a través de la comunidad, aunque otros investigadores gestionaron su atribución. Sin embargo, muchas de sus publicaciones se han convertido posteriormente en citas en la literatura de aprendizaje profundo.
Impacto
Su trabajo en BART y Fairseq ayudó a establecer una línea base para la generación condicional mediante traducción. Los modelos también informaron el diseño de la conversión de texto a voz y la investigación en entrenamiento más eficiente.
El legado continúa en lanzamientos posteriores y trenes no contados. A partir de 2024, BART se ha convertido en un modelo estándar en varias bibliotecas. Las contribuciones de Goyal han sido reconocidas a través de recuentos de citas y participación en conferencias principales. También ha colaborado con investigadores como Yann Lecun y Mikel Artetxe.