Aron Bor est un chercheur en intelligence artificielle chez Microsoft, où il a joué un rôle clé dans l'avancement du traitement automatique du langage naturel (TALN). Il est surtout connu pour avoir dirigé le développement des modèles Turing NLP, une famille de grands modèles de langage conçus pour traiter un large éventail de tâches linguistiques avec une grande efficacité et précision. Ses travaux se situent à l'intersection du apprentissage automatique et du apprentissage profond, contribuant à la fois à la compréhension théorique et au déploiement pratique des réseaux neuronaux dans les systèmes de production.
Les recherches de Bor se sont concentrées sur la mise à l'échelle des architectures Transformer (architecture) pour améliorer les performances sur des tâches telles que la génération de texte, le résumé et la réponse aux questions. Les modèles Turing, développés sous sa direction, ont été intégrés dans divers produits et services de Microsoft, démontrant l'impact pratique de la recherche académique dans les environnements industriels. Ses contributions ont contribué à orienter la direction de la IA générative au sein de l'entreprise, influençant la manière dont les modèles à grande échelle sont entraînés et déployés.
Début de carrière et formation
Les détails sur la vie et la formation de Bor ne sont pas largement divulgués. On sait qu'il est actif dans la communauté de recherche en IA depuis plus d'une décennie, ses premiers travaux portant sur l'apprentissage séquence à séquence et les architectures encodeur-décodeur. Il a collaboré avec des chercheurs de plusieurs institutions, notamment l'Université de Toronto et Carnegie Mellon University, reflétant la nature interdisciplinaire de ses recherches.
Avant de rejoindre Microsoft, Bor a contribué à plusieurs projets open-source et publié des articles sur les mécanismes de attention multi-têtes et les techniques de encodage positionnel. Ces études fondamentales ont contribué à affiner le modèle Transformer (architecture), qui est devenu par la suite la base des systèmes modernes de TALN.
Modèles Turing NLP
Les modèles Turing NLP, développés sous la direction de Bor, représentent une étape importante dans la stratégie IA de Microsoft. La première itération, Turing-NLG, a été introduite en 2020 et comportait 17 milliards de paramètres, ce qui en faisait l'un des plus grands modèles de langage de l'époque. Il a été entraîné sur un corpus diversifié de textes et a démontré de bonnes performances sur des benchmarks comme SuperGLUE et SQuAD.
Les versions suivantes, telles que Turing-Megatron et Turing-BLOOM, ont élargi ces travaux en intégrant des techniques comme le élagage de modèles et la augmentation de données pour améliorer l'efficacité. L'équipe de Bor a également exploré le apprentissage par renforcement à partir de retours d'IA pour aligner les sorties des modèles sur les préférences humaines, une méthode qui est depuis devenue standard dans l'industrie.
Un aspect notable des modèles Turing est leur focalisation sur les mécanismes de attention croisée, qui permettent aux modèles de mieux gérer les entrées multimodales. Cela a permis des applications au-delà du texte, notamment la légende d'images et la génération de code.
Contributions à l'efficacité des modèles
Bor a été un partisan de la réduction des coûts de calcul des grands modèles. Ses recherches ont exploré le écrêtage de gradient et les programmes de taux d'apprentissage adaptatifs pour stabiliser l'entraînement, ainsi que la normalisation par lots et la normalisation de couche pour améliorer la convergence. Ces techniques ont été largement adoptées dans la communauté IA, influençant la conception de modèles dans d'autres grands laboratoires comme OpenAI et Google DeepMind.
Il a également étudié les stratégies de initialisation des poids et les méthodes de Dropout pour prévenir le surapprentissage dans les réseaux profonds. Ses travaux sur le réglage de la température et l'échantillonnage top-p ont informé la manière dont les modèles génératifs contrôlent le caractère aléatoire de leurs sorties, une considération clé pour le déploiement de l'IA dans des applications destinées aux utilisateurs.
Impact et reconnaissance
Les contributions de Bor ont été reconnues au sein de Microsoft et de la communauté IA au sens large. Il a été invité à prendre la parole lors de grandes conférences, notamment NeurIPS et ICML, et a siégé dans des comités de programme pour des ateliers sur les grands modèles de langage. Ses travaux ont été largement cités dans les recherches ultérieures sur la mise à l'échelle et l'efficacité des modèles.
Au sein de Microsoft, Bor a encadré de nombreux jeunes chercheurs et a été un moteur derrière l'investissement de l'entreprise dans l'infrastructure IA Azure. Les modèles Turing ont été déployés sur Microsoft Azure, fournissant des services de TALN basés sur le cloud aux clients d'entreprise.
Travaux actuels et orientations futures
Au milieu des années 2020, Bor continue de diriger la recherche sur les modèles Turing de nouvelle génération, en se concentrant sur les capacités multimodales et l'inférence efficace. Il explore également des moyens d'intégrer la génération augmentée par récupération dans les modèles, leur permettant d'accéder à des bases de connaissances externes pendant l'inférence.
Bor a exprimé son intérêt pour les implications éthiques de l'IA, plaidant pour des pratiques de déploiement responsables. Il a contribué aux directives internes de Microsoft concernant l'atténuation des biais et la transparence des systèmes d'IA.
Ses travaux en cours devraient influencer le développement des outils de IA générative dans toute l'industrie, alors que les entreprises cherchent à équilibrer la taille des modèles avec leur utilité pratique.