Samuel R. Bowman est un informaticien et professeur à l'Université de New York, spécialisé dans le traitement automatique du langage naturel (TALN) et l'évaluation des grands modèles de langage. Ses recherches portent sur la manière de mesurer les capacités, la robustesse, et la sécurité des systèmes d'IA modernes, avec un accent sur l'analyse empirique des modèles développés par des organisations telles que OpenAI et Anthropic. Bowman est connu pour ses travaux influents sur la conception de référentiels, les tests de résistance des modèles, et l'étude comportementale des systèmes basés sur les transformeurs.
Bowman a terminé ses études doctorales à l'Université de Californie, à Berkeley, avant de rejoindre le corps professoral à NYU. À NYU, il est devenu une figure centrale dans la communauté du TALN, contribuant à la fois aux aspects théoriques et appliqués du Machine learning. Ses travaux académiques ont été co-écrits avec des chercheurs d'institutions diverses, y compris Stanford AI Lab et MIT CSAIL, reflétant un vaste réseau de collaboration.
Recherche sur l'évaluation des modèles
Une partie significative des recherches de Bowman se concentre sur la méthodologie d'évaluation. Il a soutenu que les métriques de précision standard échouent souvent à capturer les défaillances critiques dans les modèles de langage, conduisant à une surestimation de leur compétence. Ses articles ont introduit des méthodes de filtrage adversarial, où les modèles sont entraînés sur des exemples qui défient intentionnellement leur raisonnement, et ont analysé comment les modèles performent sur des données hors distribution. Ce travail est fondamental pour comprendre les limites des réseaux de neurones dans des applications du monde réel\ldots
Les contributions de Bowman incluent le développement de jeux de données difficiles tels que des référentiels d'implication générale, qui testent la capacité des modèles à comprendre les relations logiques entre les phrases. Ces référentiels sont devenus des outils standard dans la recherche en TALN et sont largement utilisés par des groupes chez Google DeepMind et dans des laboratoires académiques\ldots
Comportement et sécurité des modèles de langage
Chez Anthropic, où il a travaillé comme chercheur jusqu'à son départ, Bowman a étudié les propriétés de sécurité des grands modèles de langage. Ses études ont examiné comment ces modèles répondent à des invites nuisibles, comment ils pourraient être orientés ou désalignés, et comment extraire des capacités cachées. Son travail avec l'équipe d'interprétabilité a aidé à façonner des techniques pour surveiller le comportement des modèles, ce qui est pertinent pour les débats actuels sur l'alignement de l'IA\ldots
Bowman a également publié des recherches sur la cohérence factuelle dans le résumé et la réponse aux questions, découvrant des schémas où les modèles génèrent un contenu plausible mais incorrect. Cette ligne d'enquête s'inscrit dans des efforts plus larges pour rendre la Generative AI plus fiable, se connectant à des travaux dans des institutions comme BAIR (Berkeley AI Research) et Carnegie Mellon University\ldots
Contributions aux référentiels
Une des réalisations notables de Bowman est la création et le raffinement de référentiels qui servent de références pour le domaine. Il a co-écrit le référentiel GLUE, une suite de tâches qui est devenue une norme pour évaluer la compréhension générale du langage. Le successeur de GLUE, le référentiel SuperGLUE, a également été influencé par ses principes de conception, visant des tâches qui sont difficiles pour les systèmes actuels mais possibles pour les humains. Ces référentiels ont été utilisés par des équipes chez Microsoft Azure et Amazon Web Services pour valider leurs déploiements\ldots
Ses recherches ont montré que même les modèles de pointe présentent des baisses de performance significatives lorsqu'ils sont testés sur des contre-exemples soigneusement construits. Cela a motivé des praticiens de l'industrie, y compris ceux chez OpenAI et Qualcomm, à incorporer une évaluation plus rigoureuse dans leurs pipelines de développement\ldots
Rôles académiques et professionnels
Bowman détient un professorat à l'Institut Courant des sciences mathématiques de NYU, où il dirige un groupe de recherche axé sur l'apprentissage profond et le TALN. Il a encadré de nombreux étudiants diplômés qui ont ensuite occupé des postes dans le monde académique et l'industrie, y compris chez Apple et Samsung Electronics. Son enseignement couvre des sujets tels que l'architecture Transformer (architecture), l'interprétabilité des modèles, et les considérations éthiques du déploiement de l'IA\ldots
En plus de son rôle académique, Bowman a été affilié à des initiatives de recherche qui font le pont entre le monde académique et les laboratoires d'entreprise. Ses collaborations s'étendent à Nokia Bell Labs et Xerox PARC, où il a présenté des résultats sur l'évaluation des modèles. Il est un conférencier fréquent aux grandes conférences d'IA, y compris NeurIPS, ACL, et ICML\ldots
Prix et reconnaissances sélectionnés
Bowman a reçu plusieurs honneurs pour ses recherches, y compris un prix d'article exceptionnel à une grande conférence de TALN pour son travail sur l'analyse syntaxique non supervisée. Il a également été reconnu pour ses contributions à la construction de suites d'évaluation robustes, recevant un prix Test of Time pour le référentiel GLUE. Bien que la liste exacte des subventions ne soit pas publique, son travail a été soutenu par des programmes de NSF et DARPA\ldots
Son influence est évidente dans l'adoption de ses méthodes par des plateformes de cloud computing telles que Google Cloud et Oracle Cloud Infrastructure, qui offrent désormais des outils d'évaluation intégrés influencés par ses référentiels. À partir du milieu des années 2020, Bowman reste actif dans le domaine, continuant à publier sur l'intersection de la technologie linguistique et de la sécurité.