Thomas Scialom es un investigador científico en Meta AI (ahora parte de la IA en Meta), reconocido por su trabajo en grandes modelos de lenguaje y aprendizaje automático. Es mejor conocido como coautor de Llama 2, una familia de grandes modelos de lenguaje de código abierto publicada en 2023, y por su investigación para mejorar la precisión factual y las capacidades de razonamiento de estos modelos mediante técnicas como generación aumentada por recuperación y aprendizaje por refuerzo con retroalimentación humana. Su trabajo ha influido tanto en la investigación académica como en las aplicaciones prácticas en IA generativa.
La investigación de Scialom se sitúa en la intersección del aprendizaje profundo, el procesamiento del lenguaje natural y las arquitecturas de redes neuronales. Ha contribuido a varios proyectos en Meta AI, incluido el desarrollo de Llama y sus sucesores, y ha publicado extensamente sobre temas como el resumen de texto, la generación de preguntas y respuestas y el alineamiento de modelos. Sus contribuciones forman parte de un esfuerzo más amplio dentro de la comunidad de IA para crear modelos más confiables y controlables.
Contribuciones tempranas y educación
Thomas Scialom completó sus estudios de doctorado en ciencias de la computación, centrándose en el procesamiento del lenguaje natural y el aprendizaje profundo. Su investigación doctoral, realizada en colaboración con instituciones académicas y laboratorios de la industria, exploró técnicas novedosas para el resumen de texto y los modelos secuencia a secuencia. Posteriormente se unió a Meta AI (anteriormente Facebook AI Research) como investigador científico, donde comenzó a trabajar en modelos de lenguaje a gran escala.
Durante sus primeros años, Scialom contribuyó a varios artículos fundamentales sobre arquitecturas de transformers, particularmente en el contexto del resumen y los sistemas de diálogo. Su trabajo enfatizó la importancia de las métricas de evaluación y la evaluación humana para evaluar el rendimiento de los modelos, un tema que continuó en su investigación posterior sobre RLHF.
Contribuciones a Llama 2
Scialom fue un contribuyente clave en Llama 2, publicado por Meta AI en julio de 2023. Llama 2 es una colección de grandes modelos de lenguaje preentrenados y ajustados que van desde 7 mil millones hasta 70 mil millones de parámetros. A diferencia de su predecesor, Llama 2 se puso a disposición para uso comercial, lo que marcó un cambio significativo en el panorama de la IA de código abierto. Scialom coescribió el informe técnico que acompaña al modelo, que detalla la arquitectura, los datos de entrenamiento y el proceso de alineamiento.
Un aspecto destacado de Llama 2 fue su uso de aprendizaje por refuerzo con retroalimentación humana para mejorar la utilidad y la seguridad. La investigación de Scialom sobre RLHF, incluido el desarrollo de modelos de recompensa y técnicas de optimización de política proximal, fue fundamental en este esfuerzo. La publicación del modelo impulsó una adopción generalizada e influyó en otros modelos de código abierto de diversas organizaciones.
Investigación sobre generación aumentada por recuperación
Más allá de Llama 2, Scialom ha realizado contribuciones significativas a la generación aumentada por recuperación (RAG), una técnica que combina modelos generativos con recuperación de información para mejorar la precisión factual. Su trabajo en esta área, incluido el artículo "Recitation-Augmented Language Models" (2022), demostró cómo recitar pasajes relevantes antes de generar respuestas puede mejorar el rendimiento en tareas intensivas en conocimiento.
Esta línea de investigación abordó una limitación clave de los grandes modelos de lenguaje: su tendencia a producir información plausible pero incorrecta, a menudo denominada alucinación. Al integrar fuentes de conocimiento externas, los métodos de Scialom buscaron fundamentar las respuestas del modelo en hechos verificables, un enfoque que se ha vuelto central en muchas aplicaciones de IA, incluida la generación de preguntas y respuestas y la verificación de hechos.
Impacto y reconocimiento
El trabajo de Scialom ha sido ampliamente citado en la comunidad de IA, y es un ponente frecuente en conferencias como NeurIPS, ICML y ACL. Sus contribuciones a la IA de código abierto, particularmente a través de Llama 2, han sido elogiadas por democratizar el acceso a modelos de lenguaje avanzados. También ha colaborado con investigadores de otras instituciones líderes, incluidos Google DeepMind y OpenAI, en temas relacionados con la evaluación y el alineamiento de modelos.
A partir de 2024, Scialom continúa trabajando en Meta AI, centrándose en mejorar el razonamiento y la seguridad de los grandes modelos de lenguaje. Su investigación sigue siendo influyente en la dirección de la inteligencia artificial, particularmente en el desarrollo de modelos que sean a la vez potentes y confiables.
Véase también
- Gran modelo de lenguaje
- Aprendizaje por refuerzo con retroalimentación humana
- Generación aumentada por recuperación
- Meta AI