Niki Parmar est une informaticienne et entrepreneuse reconnue pour ses contributions fondamentales à l'intelligence artificielle moderne. Elle est surtout connue comme co-auteure de l'article de 2017 « Attention Is All You Need », qui a introduit l'architecture transformer qui sous-tend la plupart des grands modèles de langage contemporains. En 2023, elle a cofondé Essential AI, une startup axée sur la création de systèmes d'IA pour la productivité en entreprise.
Les travaux de Parmar ont eu un impact profond sur le domaine du apprentissage automatique, permettant des avancées en traitement du langage naturel, en vision par ordinateur et en IA générative. Ses recherches chez Google Brain et OpenAI ont contribué à façonner la trajectoire de l'apprentissage profond et le développement de réseaux de neurones capables de traiter d'énormes quantités de données.
Vie et éducation
Parmar est née en Inde et a développé un intérêt précoce pour les mathématiques et l'informatique. Elle a poursuivi ses études de premier cycle à l'Université de Toronto, où elle a obtenu un baccalauréat en informatique et en mathématiques. Pendant son séjour là-bas, elle a été exposée à des concepts fondamentaux en intelligence artificielle et en apprentissage automatique, ce qui a préparé le terrain pour ses futures recherches.
Après avoir terminé son diplôme de premier cycle, Parmar a rejoint Google Brain en tant qu'ingénieure de recherche, où elle a commencé à travailler sur des modèles de réseaux de neurones à grande échelle. Ses premiers projets impliquaient l'amélioration de l'efficacité et de l'évolutivité des systèmes d'apprentissage profond, ce qui informerait plus tard ses contributions à l'architecture transformer.
Carrière chez Google Brain
Chez Google Brain, Parmar a collaboré avec des chercheurs tels que Jakob Uszkoreit, Lukasz Kaiser et Llion Jones. Ensemble, ils ont cherché à remédier aux limitations des réseaux de neurones récurrents (RNN) et des réseaux de neurones convolutifs (CNN) dans le traitement des données séquentielles. Leurs efforts ont abouti à l'article de 2017 « Attention Is All You Need », qui a proposé le modèle transformer.
L'architecture transformer reposait entièrement sur des mécanismes d'auto-attention, éliminant le besoin de récurrence et de convolution. Cette innovation a permis le traitement parallèle des séquences d'entrée, réduisant considérablement les temps d'entraînement et permettant la gestion de contextes plus longs. L'article est devenu l'un des plus cités dans le domaine de l'intelligence artificielle et a jeté les bases de modèles ultérieurs tels que BERT et GPT.
Le rôle de Parmar dans le projet impliquait la conception et la mise en œuvre de composants clés du modèle, y compris le mécanisme d'attention multi-têtes et le schéma d'encodage positionnel. Son expertise technique a été déterminante pour rendre le transformer à la fois efficace et performant.
Contributions à la vision par ordinateur
Après le succès de l'article sur le transformer, Parmar a étendu ses recherches à la vision par ordinateur. Elle a co-écrit plusieurs articles qui appliquaient des mécanismes d'attention à la génération et au traitement d'images. Notamment, elle a travaillé sur l'Image Transformer, qui a adapté l'architecture transformer pour des tâches de génération d'images, démontrant que les modèles basés sur l'attention pouvaient atteindre des résultats de pointe dans des domaines au-delà du texte.
Son travail dans ce domaine a contribué au développement des Vision Transformers (ViTs), qui sont depuis devenus une approche standard en vision par ordinateur. En traitant les patchs d'images comme des jetons, les ViTs exploitent les mêmes mécanismes d'auto-attention qui ont prouvé leur succès en traitement du langage naturel, permettant des modèles d'images plus évolutifs et flexibles.
Passage à OpenAI et poursuite de la recherche
En 2021, Parmar a rejoint OpenAI en tant que chercheuse scientifique. Chez OpenAI, elle a travaillé sur l'amélioration de l'efficacité et des capacités des grands modèles de langage. Ses recherches se sont concentrées sur la mise à l'échelle des modèles basés sur le transformer, l'optimisation des procédures d'entraînement et l'exploration de nouvelles architectures pour les tâches génératives.
Pendant son mandat, elle a contribué à des projets qui ont repoussé les limites de ce qui était possible avec l'IA générative, y compris des avancées dans la génération de texte, la synthèse de code et la compréhension multimodale. Son travail chez OpenAI a aidé à affiner des techniques qui seraient plus tard intégrées dans des produits commerciaux comme ChatGPT.
Fondation d'Essential AI
En 2023, Parmar a cofondé Essential AI aux côtés d'Ashish Kumar, un chercheur ayant un parcours en apprentissage automatique et en robotique. La mission de l'entreprise est de créer des systèmes d'IA qui augmentent la productivité humaine dans les environnements d'entreprise, en se concentrant sur des tâches telles que l'analyse de données, la génération de rapports et le soutien à la décision.
Essential AI vise à tirer parti des dernières avancées en grands modèles de langage et en IA générative pour créer des outils fiables, interprétables et adaptés aux besoins spécifiques des entreprises. L'entreprise a attiré l'attention des investisseurs et des observateurs de l'industrie, reflétant la demande croissante pour des applications pratiques de l'IA.
Le rôle de Parmar en tant que cofondatrice implique de guider la vision technique et de superviser la recherche et le développement. Son expérience avec les architectures basées sur le transformer et sa compréhension approfondie des principes de l'apprentissage profond la positionnent pour mener l'innovation dans le domaine de l'IA d'entreprise.
Impact et reconnaissance
Les contributions de Parmar au domaine de l'intelligence artificielle ont été largement reconnues. L'article « Attention Is All You Need » a été cité des dizaines de milliers de fois, et ses auteurs sont considérés comme des pionniers de la révolution moderne de l'IA. Le travail de Parmar a influencé non seulement le monde académique, mais aussi l'industrie, façonnant le développement de produits et de services dans les entreprises technologiques du monde entier.
Ses recherches ont été présentées lors de grandes conférences telles que NeurIPS et ICML, et elle a été invitée à prendre la parole lors de divers événements de l'industrie. Malgré sa carrière relativement jeune, elle a déjà laissé une marque indélébile sur le domaine, et son travail en cours avec Essential AI devrait produire d'autres innovations.
Vie personnelle et intérêts
Parmar est connue pour son esprit collaboratif et son engagement à encadrer les jeunes chercheurs. Elle a parlé publiquement de l'importance de la diversité dans l'IA et a plaidé pour des pratiques plus inclusives dans l'industrie technologique. Pendant son temps libre, elle aime lire, voyager et explorer de nouvelles technologies.
Elle maintient une présence active sur les réseaux sociaux, où elle partage des idées sur le apprentissage automatique et interagit avec la communauté plus large de l'IA. Son attitude accessible et sa volonté d'expliquer des concepts complexes ont fait d'elle une figure respectée parmi ses pairs et les chercheurs en herbe.
Orientations futures
En 2025, Parmar continue de diriger Essential AI dans le développement de solutions d'IA qui répondent aux défis du monde réel. L'entreprise explore des applications dans des domaines tels que la finance, la santé et les services juridiques, où les grands modèles de langage peuvent automatiser des tâches routinières et fournir des informations exploitables.
La vision de Parmar pour l'avenir inclut la création de systèmes d'IA qui sont non seulement puissants, mais aussi transparents et alignés sur les valeurs humaines. Elle croit que la prochaine vague d'innovation en IA viendra de la collaboration interdisciplinaire, combinant des perspectives de la science cognitive, de l'éthique et de l'ingénierie.
Son parcours, d'une étudiante curieuse à une figure de proue de l'IA, sert d'inspiration à beaucoup, et ses contributions continues sont susceptibles de façonner le domaine pendant des années à venir.