Jacob Andreas est professeur assistant au MIT Computer Science and Artificial Intelligence Laboratory (MIT CSAIL). Ses recherches portent sur l'ancrage du langage et la sémantique compositionnelle, explorant comment les systèmes d'IA peuvent relier la structure linguistique au sens et à l'action dans le monde réel. Il est affilié au département de génie électrique et d'informatique du MIT.
Andreas a obtenu son doctorat à l'Université de Californie, Berkeley, où il a été encadré par Dan Klein. Ses travaux de doctorat ont examiné comment les structures compositionnelles du langage peuvent être apprises et utilisées pour des tâches telles que la réponse à des questions visuelles et le suivi d'instructions. Avant de rejoindre le MIT, il a occupé un poste postdoctoral chez Google DeepMind.
Contributions de recherche
Les premières recherches d'Andreas ont introduit des méthodes pour apprendre des réseaux neuronaux modulaires qui composent des sous-tâches de manière structurée. Dans un article de 2016, lui et ses collègues ont proposé un modèle qui apprend à décomposer une question en sous-questions plus petites, chacune répondue par un module spécialisé, puis combine les résultats. Cette approche a démontré une amélioration des performances sur les benchmarks de réponse à des questions visuelles par rapport aux réseaux neuronaux monolithiques.
Ses travaux sur la sémantique compositionnelle ont également abordé la manière d'induire des structures linguistiques latentes à partir de données sans annotations explicites. Il a étudié l'utilisation des grands modèles de langage pour l'analyse sémantique et l'ancrage, examinant comment ces modèles peuvent être orientés pour produire des représentations interprétables et compositionnelles.
Ancrage du langage et suivi d'instructions
Un thème central dans les recherches d'Andreas est l'ancrage du langage dans des environnements interactifs. Il a étudié comment les agents peuvent apprendre à suivre des instructions en langage naturel dans des mondes simulés, en utilisant l'apprentissage par renforcement et l'apprentissage par curriculum pour améliorer l'efficacité des échantillons. Ses travaux ont montré que les descriptions de tâches compositionnelles peuvent être exploitées pour généraliser à des combinaisons d'instructions non vues.
Andreas a également exploré la relation entre le langage et la logique formelle, proposant des moyens de traduire le langage naturel en programmes exécutables. Cette ligne de recherche se connecte à des efforts plus larges en apprentissage automatique pour construire des systèmes qui raisonnent explicitement sur la structure.
Publications sélectionnées et reconnaissance
Andreas a publié dans des conférences majeures, notamment NeurIPS, ICLR, ACL et EMNLP. Ses articles ont reçu plusieurs nominations et prix pour le meilleur article. Il a été nommé Sloan Research Fellow en 2021, reconnaissant ses contributions en début de carrière à l'informatique.
Son enseignement au MIT comprend des cours de troisième cycle sur le traitement du langage naturel et l'apprentissage automatique. Il a également donné des conférences invitées dans des institutions académiques et des laboratoires de recherche industriels, notamment OpenAI et Anthropic.
Impact plus large et directions actuelles
Les travaux récents d'Andreas ont examiné l'interprétabilité des modèles transformer, en particulier comment les mécanismes d'attention encodent l'information compositionnelle. Il a plaidé pour l'importance de concevoir des benchmarks qui testent la généralisation systématique, un défi mis en évidence par la communauté de l'méta-apprentissage.
Il s'intéresse également à l'intersection du langage et de la programmation probabiliste, visant à construire des modèles capables de raisonner sur l'incertitude tout en maintenant une structure compositionnelle. En 2024, son groupe au MIT continue d'étudier ces sujets, avec un accent sur la transparence et la fiabilité des systèmes d'apprentissage profond.
Voir aussi
- Joshua Tenenbaum - scientifique cognitif connu pour ses travaux sur la compositionnalité et la physique intuitive
- Brendan Lake - chercheur en apprentissage automatique de type humain et généralisation systématique
- Stanford AI Lab - une autre institution avec des recherches connexes sur la compositionnalité et l'ancrage