Devi Parikh est une informaticienne américaine connue pour ses recherches en vision par ordinateur et en traitement du langage naturel. Elle a occupé des postes académiques à Virginia Tech et à Georgia Tech, et, depuis 2022, elle est directrice de recherche chez Meta, où elle dirige des travaux sur les systèmes d'IA multimodaux.
Parikh a obtenu son doctorat en génie électrique et informatique à l'Université Carnegie Mellon. Ses premiers travaux portaient sur la reconnaissance visuelle et la compréhension de scènes, mais elle s'est ensuite tournée vers la combinaison d'informations visuelles et textuelles, un domaine qui fait le pont entre la vision par ordinateur et le traitement du langage naturel. Ses contributions ont été récompensées par plusieurs prix prestigieux, notamment le prix IJCAI Computers and Thought en 2017 et le prix du meilleur article ICCV (prix Marr) en 2011.
Réponse à des questions visuelles
En 2015, alors qu'elle était à Virginia Tech, Parikh et ses étudiants ont développé un ensemble de données et un cadre pour la réponse à des questions visuelles (VQA), une tâche où un système d'IA répond à des questions sur des images, comme « Cette pizza est-elle végétarienne ? ». L'ensemble de données VQA, qui associe des images à des questions et réponses générées par des humains, est devenu une référence pour évaluer les modèles d'IA multimodaux. Depuis 2022, il a été utilisé pour évaluer plus de 30 modèles d'IA, influençant les recherches ultérieures en apprentissage profond et en apprentissage multimodal. Ces travaux ont mis en évidence la nécessité pour les modèles de raisonner à la fois sur le contenu visuel et le contexte linguistique, un défi qui reste central dans la recherche en intelligence artificielle.
IA conversationnelle et ParlAI
En 2017, Parikh a publié ParlAI, une plateforme open-source pour former et évaluer des agents d'IA conversationnelle. ParlAI intègre des tâches de dialogue, de réponse à des questions et de vision, permettant aux chercheurs de tester des modèles dans plusieurs domaines. La plateforme prend en charge une gamme de cadres de apprentissage automatique et a été utilisée pour développer des agents capables de tenir des conversations cohérentes tout en référençant des entrées visuelles. Cette contribution s'inscrit dans un effort plus large pour faire progresser les grands modèles de langage et leur application aux systèmes interactifs.
IA générative et génération de danse
En 2020, Parikh a développé un système d'IA qui génère des mouvements de danse en synchronisation avec la musique. Ce projet, qui combinait des modèles séquence à séquence avec des données audio et de mouvement, a démontré le potentiel de l'IA générative dans les domaines créatifs. Le système apprenait à mapper des caractéristiques musicales à une chorégraphie, produisant des mouvements qui correspondaient au rythme et au style de la chanson d'entrée. Ces travaux ont contribué au domaine croissant de la IA générative, qui inclut également les modèles texte-image et texte-vidéo.
Make-a-Video et modèles texte-vidéo
En 2022, Parikh et une équipe de Meta ont développé Make-a-Video, un modèle d'IA texte-vidéo basé sur l'algorithme de diffusion. Le modèle génère de courts clips vidéo à partir de descriptions textuelles, en s'appuyant sur les avancées des modèles de diffusion et des transformeurs. Make-a-Video s'appuie sur des travaux antérieurs en génération texte-image, les étendant à la dimension temporelle en apprenant à prédire des séquences de frames. Cette innovation a des implications pour la création de contenu, les environnements virtuels et l'interaction homme-machine, et elle représente une étape significative dans la recherche en apprentissage profond.
Prix et reconnaissance
Les recherches de Parikh lui ont valu de nombreux honneurs. En 2011, elle a reçu le prix Marr à la Conférence internationale sur la vision par ordinateur (ICCV), l'un des prix les plus prestigieux en vision par ordinateur, pour son article sur les attributs visuels. En 2017, elle a reçu le prix IJCAI Computers and Thought, qui récompense les jeunes chercheurs en intelligence artificielle. Ces prix reflètent son impact sur les aspects théoriques et appliqués de l'IA, des algorithmes de vision fondamentaux aux systèmes pratiques qui intègrent langage et vision.