Dan Roth (hébreu : דן רוט) est professeur distingué Eduardo D. Glandt d'informatique et de sciences de l'information à l'Université de Pennsylvanie et scientifique en chef de l'IA chez Oracle. Jusqu'en juin 2024, il était vice-président et scientifique distingué chez AWS AI, où il a dirigé l'effort scientifique derrière les produits de première génération de IA générative, notamment les modèles Titan, Amazon Q et Bedrock, de leur conception à leur disponibilité générale. Ses recherches portent sur les fondements computationnels du comportement intelligent, en particulier l'intégration de apprentissage automatique et de méthodes d'inférence pour la compréhension du langage naturel.
Roth a obtenu son B.A. summa cum laude en mathématiques au Technion en Israël et son doctorat en informatique à l'Université Harvard en 1995. Il a enseigné à l'Université de l'Illinois à Urbana-Champaign de 1998 à 2017 avant de rejoindre l'Université de Pennsylvanie.
Carrière académique et distinctions
Roth est membre de l'Association américaine pour l'avancement des sciences (AAAS), de l'Association for Computing Machinery (ACM), de l'Association pour l'avancement de l'intelligence artificielle (AAAI) et de l'Association de linguistique computationnelle (ACL). Ses travaux ont été récompensés par de nombreux prix du meilleur article et il a siégé aux comités éditoriaux de grandes revues en intelligence artificielle et en TAL. Il a également encadré de nombreux doctorants qui ont poursuivi des carrières académiques et industrielles.
Contributions à la recherche
Les recherches de Roth se concentrent sur l'idée que l'apprentissage joue un rôle central dans l'intelligence. Il a apporté des contributions fondatrices à la fusion de l'apprentissage et du raisonnement, notamment à travers les modèles conditionnels contraints, qui formulent les problèmes de TAL comme des tâches de programmation linéaire en nombres entiers (ILP). Il a également été pionnier dans le domaine de l'apprentissage automatique avec supervision faible et incidente, permettant aux modèles d'apprendre à partir de données bruitées ou indirectes.
En 2008, Roth a co-écrit le premier article sur l'apprentissage zero-shot en TAL, introduisant le concept de classification sans données, où les modèles classifient du texte sans exemples étiquetés en utilisant des connaissances externes. Il a également travaillé sur le raisonnement probabiliste, y compris sa complexité computationnelle et l'inférence probabiliste relevée, ainsi que sur des méthodes basées sur les parties (constellations) en reconnaissance d'objets et l'apprentissage basé sur les réponses.
Ses outils développés pour l'extraction d'informations, notamment la reconnaissance d'entités nommées (NER), la résolution de coréférences, la wikification, l'étiquetage de rôles sémantiques (SRL) et la correction de textes ESL, sont largement utilisés dans la recherche académique et les applications commerciales. Ces outils ont influencé les travaux ultérieurs en apprentissage profond et en grands modèles de langage.
Leadership industriel
Chez AWS AI, Roth a supervisé la direction scientifique des initiatives d'IA générative de l'entreprise, contribuant à commercialiser les modèles de fondation Titan, l'assistant Amazon Q et la plateforme Bedrock. Son leadership a fait le pont entre la recherche académique et le déploiement pratique, garantissant que les avancées dans les architectures transformers et les réseaux de neurones étaient traduites en services cloud évolutifs.
En 2024, il a rejoint Oracle en tant que scientifique en chef de l'IA, où il conseille sur la stratégie et le programme de recherche en IA de l'entreprise. Il a également co-fondé NexLP, Inc., une start-up appliquant le TAL et l'apprentissage automatique aux domaines juridiques et de conformité ; NexLP a été acquise par Reveal, Inc., une société de logiciels de découverte électronique, en 2020.
Rôles actuels et travail de conseil
Roth siège au conseil consultatif scientifique de l'Institut Allen pour l'IA, contribuant à la recherche sur l'IA et le TAL. Il continue de publier activement et de collaborer avec des chercheurs de diverses institutions, se concentrant sur des sujets tels que l'apprentissage par curriculum, l'élagage de modèles et les méthodes d'inférence robustes. Ses travaux en cours visent à développer des méthodologies unifiées pour le comportement intelligent, intégrant l'apprentissage, le raisonnement et la compréhension du langage.
Publications sélectionnées et impact
Roth a écrit plus de 300 articles évalués par des pairs, dont beaucoup dans des conférences de premier plan telles que ACL, NeurIPS et AAAI. Son article de 2008 sur la classification sans données a été très influent, anticipant les développements ultérieurs dans l'apprentissage zero-shot et few-shot. Ses recherches sur l'apprentissage et l'inférence ont également informé des systèmes pratiques d'extraction d'informations et de réponse aux questions, contribuant au domaine plus large du traitement du langage naturel. Il a donné des conférences plénières lors de grandes conférences et a été une force motrice pour relier l'apprentissage statistique au raisonnement symbolique.
Références
- Faits sources fournis par Wikipédia (CC BY-SA).