Devi Parikh ist eine amerikanische Informatikerin, die für ihre Forschung in den Bereichen Computer Vision und natürliche Sprachverarbeitung bekannt ist. Sie hatte akademische Positionen an der Virginia Tech und der Georgia Tech inne und ist seit 2022 Forschungsdirektorin bei Meta, wo sie Arbeiten zu multimodalen KI-Systemen leitet.
Parikh promovierte in Elektrotechnik und Informatik an der Carnegie Mellon University. Ihre frühen Arbeiten konzentrierten sich auf visuelle Erkennung und Szenenverständnis, später erweiterte sie ihr Forschungsgebiet um die Kombination von visuellen und textuellen Informationen, ein Feld, das Computer Vision und natürliche Sprachverarbeitung verbindet. Ihre Beiträge wurden mit mehreren renommierten Preisen ausgezeichnet, darunter der IJCAI Computers and Thought Award 2017 und der ICCV Best-Paper Award (Marr-Preis) 2011.
Visuelle Fragenbeantwortung
Im Jahr 2015 entwickelten Parikh und ihre Studenten an der Virginia Tech einen Datensatz und ein Framework für visuelle Fragenbeantwortung (VQA), eine Aufgabe, bei der ein KI-System Fragen zu Bildern beantwortet, wie zum Beispiel „Ist das eine vegetarische Pizza?“. Der VQA-Datensatz, der Bilder mit von Menschen generierten Fragen und Antworten paart, wurde zu einem Maßstab für die Bewertung multimodaler KI-Modelle. Bis 2022 wurde er zur Evaluierung von über 30 KI-Modellen verwendet und beeinflusste die anschließende Forschung in Deep Learning und multimodalem Lernen. Diese Arbeit hob die Notwendigkeit hervor, dass Modelle sowohl über visuelle Inhalte als auch über sprachlichen Kontext nachdenken müssen, eine Herausforderung, die für die Forschung zu künstlicher Intelligenz zentral bleibt.
Konversations-KI und ParlAI
Im Jahr 2017 veröffentlichte Parikh ParlAI, eine Open-Source-Plattform zum Trainieren und Bewerten von Konversations-KI-Agenten. ParlAI integriert Aufgaben aus Dialog, Fragenbeantwortung und Vision und ermöglicht es Forschern, Modelle über mehrere Domänen hinweg zu testen. Die Plattform unterstützt eine Reihe von Machine-Learning-Frameworks und wurde verwendet, um Agenten zu entwickeln, die kohärente Gespräche führen können, während sie visuelle Eingaben referenzieren. Dieser Beitrag war Teil einer breiteren Anstrengung, große Sprachmodelle und ihre Anwendung auf interaktive Systeme voranzutreiben.
Generative KI und Tanzgenerierung
Im Jahr 2020 entwickelte Parikh ein KI-System, das Tanzbewegungen synchron zur Musik generiert. Dieses Projekt, das Sequence-to-Sequence-Modelle mit Audio- und Bewegungsdaten kombinierte, zeigte das Potenzial generativer KI in kreativen Bereichen. Das System lernte, musikalische Merkmale auf Choreografie abzubilden, und erzeugte Bewegungen, die dem Rhythmus und Stil des Eingangssongs entsprachen. Diese Arbeit trug zum wachsenden Feld der generativen KI bei, das auch Text-zu-Bild- und Text-zu-Video-Modelle umfasst.
Make-a-Video und Text-zu-Video-Modelle
Im Jahr 2022 entwickelten Parikh und ein Team bei Meta Make-a-Video, ein Text-zu-Video-KI-Modell, das auf dem Diffusionsalgorithmus basiert. Das Modell generiert kurze Videoclips aus textuellen Beschreibungen und nutzt Fortschritte bei Diffusionsmodellen und Transformatoren. Make-a-Video baut auf früheren Arbeiten zur Text-zu-Bild-Generierung auf und erweitert diese um die zeitliche Dimension, indem es lernt, Sequenzen von Frames vorherzusagen. Diese Innovation hat Auswirkungen auf die Inhaltserstellung, virtuelle Umgebungen und die Mensch-Computer-Interaktion und stellt einen bedeutenden Schritt in der Deep-Learning-Forschung dar.
Auszeichnungen und Anerkennung
Parikhs Forschung hat ihr mehrere Ehrungen eingebracht. 2011 erhielt sie den Marr-Preis auf der International Conference on Computer Vision (ICCV), einen der höchsten Preise im Bereich Computer Vision, für ihre Arbeit über visuelle Attribute. 2017 wurde ihr der IJCAI Computers and Thought Award verliehen, der junge Forscher in der künstlichen Intelligenz auszeichnet. Diese Auszeichnungen spiegeln ihren Einfluss auf sowohl theoretische als auch angewandte Aspekte der KI wider, von grundlegenden Vision-Algorithmen bis hin zu praktischen Systemen, die Sprache und Vision integrieren.