Dan Roth (hébreu : דן רוט) est le professeur distingué Eduardo D. Glandt d'informatique et de sciences de l'information à l'Université de Pennsylvanie et le scientifique en chef de l'IA chez Oracle. Jusqu'en juin 2024, il était vice-président et scientifique distingué chez AWS AI, où il a dirigé l'effort scientifique derrière les produits de première génération de IA générative, notamment les modèles Titan, Amazon Q et Bedrock, de leur conception à leur disponibilité générale. Ses recherches portent sur les fondements computationnels du comportement intelligent, en particulier l'intégration de apprentissage automatique et de méthodes d'inférence pour la compréhension du langage naturel.
Roth a obtenu son B.A. summa cum laude en mathématiques au Technion en Israël et son doctorat en informatique à l'Université Harvard en 1995. Il a enseigné à l'Université de l'Illinois à Urbana-Champaign de 1998 à 2017 avant de rejoindre l'Université de Pennsylvanie.
Carrière académique et distinctions
Roth est membre de l'Association américaine pour l'avancement des sciences (AAAS), de l'Association for Computing Machinery (ACM), de l'Association pour l'avancement de l'intelligence artificielle (AAAI) et de l'Association de linguistique computationnelle (ACL). Ses travaux ont été reconnus par de nombreux prix de meilleur article et il a siégé aux comités éditoriaux de grandes revues en intelligence artificielle et en TAL. Il a également encadré de nombreux doctorants qui ont poursuivi des carrières académiques et industrielles.
Contributions de recherche
Les recherches de Roth se concentrent sur l'idée que l'apprentissage joue un rôle central dans l'intelligence. Il a apporté des contributions majeures à la fusion de l'apprentissage et du raisonnement, en particulier à travers les modèles conditionnels contraints, qui formulent les problèmes de TAL comme des tâches de programmation linéaire en nombres entiers (ILP). Il a également été pionnier dans le domaine de l'apprentissage automatique avec supervision faible et incidente, permettant aux modèles d'apprendre à partir de données bruitées ou indirectes.
En 2008, Roth a co-écrit le premier article sur l'apprentissage zero-shot en TAL, introduisant le concept de classification sans données, où les modèles classifient du texte sans exemples étiquetés en utilisant des connaissances externes. Il a également travaillé sur le raisonnement probabiliste, y compris sa complexité computationnelle et l'inférence probabiliste levée, ainsi que sur les méthodes basées sur les parties (constellations) en reconnaissance d'objets et l'apprentissage basé sur les réponses.
Ses outils développés pour l'extraction d'informations, notamment la reconnaissance d'entités nommées (NER), la résolution de coréférences, la wikification, l'étiquetage de rôles sémantiques (SRL) et la correction de textes en anglais langue seconde, sont largement utilisés dans la recherche académique et les applications commerciales. Ces outils ont influencé les travaux ultérieurs en apprentissage profond et en grands modèles de langage.
Leadership industriel
Chez AWS AI, Roth a supervisé la direction scientifique des initiatives d'IA générative de l'entreprise, contribuant à commercialiser les modèles de fondation Titan, l'assistant Amazon Q et la plateforme Bedrock. Son leadership a fait le pont entre la recherche académique et le déploiement pratique, garantissant que les avancées dans les architectures transformers et les réseaux de neurones étaient traduites en services cloud évolutifs.
En 2024, il a rejoint Oracle en tant que scientifique en chef de l'IA, où il conseille sur la stratégie et le programme de recherche en IA de l'entreprise. Il a également co-fondé NexLP, Inc., une startup appliquant le TAL et l'apprentissage automatique aux domaines juridiques et de conformité ; NexLP a été acquise par Reveal, Inc., une entreprise de logiciels de découverte électronique, en 2020.
Rôles actuels et travail consultatif
Roth siège au conseil consultatif scientifique de l'Institut Allen pour l'IA, contribuant à la recherche sur l'IA et le TAL. Il continue de publier activement et de collaborer avec des chercheurs de diverses institutions, en se concentrant sur des sujets tels que l'apprentissage par curriculum, l'élagage de modèles et des méthodes d'inférence robustes. Ses travaux en cours visent à développer des méthodologies unifiées pour le comportement intelligent, intégrant l'apprentissage, le raisonnement et la compréhension du langage.
Publications sélectionnées et impact
Roth a écrit plus de 300 articles évalués par des pairs, dont beaucoup dans des conférences de premier plan telles que ACL, NeurIPS et AAAI. Son article de 2008 sur la classification sans données a été très influent, anticipant les développements ultérieurs dans l'apprentissage zero-shot et few-shot. Ses recherches sur l'apprentissage et l'inférence ont également informé des systèmes pratiques en extraction d'informations et en réponse aux questions, contribuant au domaine plus large du traitement du langage naturel. Il a donné des conférences plénières lors de grandes conférences et a été une force motrice dans le rapprochement de l'apprentissage statistique et du raisonnement symbolique.
Références
- Faits sources fournis par Wikipédia (CC BY-SA).