Devi Parikh是一位美国计算机科学家,以其在计算机视觉和自然语言处理领域的研究而闻名。她曾在弗吉尼亚理工大学和佐治亚理工学院担任学术职务,截至2022年,她在Meta担任研究总监,负责多模态AI系统的工作。
Parikh在卡内基梅隆大学获得电气与计算机工程博士学位。她的早期工作集中于视觉识别和场景理解,但后来扩展到结合视觉和文本信息,这一领域连接了计算机视觉和自然语言处理。她的贡献获得了多项著名奖项的认可,包括2017年IJCAI计算机与思想奖和2011年ICCV最佳论文奖(马尔奖)。
视觉问答
2015年,在弗吉尼亚理工大学期间,Parikh和她的学生开发了一个用于视觉问答(VQA)的数据集和框架,该任务要求AI系统回答关于图像的问题,例如“这是素食披萨吗?”VQA数据集将图像与人类生成的问题和答案配对,成为评估多模态AI模型的基准。截至2022年,它已被用于评估超过30个AI模型,影响了后续在深度学习和多模态学习方面的研究。这项工作强调了模型需要对视觉内容和语言上下文进行推理,这一挑战至今仍是人工智能研究的核心。
对话式AI与ParlAI
2017年,Parikh发布了ParlAI,这是一个用于训练和评估对话式AI代理的开源平台。ParlAI整合了来自对话、问答和视觉的任务,使研究人员能够在多个领域测试模型。该平台支持多种机器学习框架,并已被用于开发能够引用视觉输入进行连贯对话的代理。这一贡献是推进大型语言模型及其在交互系统中应用的更广泛努力的一部分。
生成式AI与舞蹈生成
2020年,Parikh开发了一个AI系统,能够生成与音乐同步的舞蹈动作。这个项目结合了序列到序列模型与音频和运动数据,展示了生成式AI在创意领域的潜力。该系统学习将音乐特征映射到编舞,产生与输入歌曲节奏和风格匹配的动作。这项工作为生成式AI的不断增长领域做出了贡献,该领域还包括文本到图像和文本到视频模型。
Make-a-Video与文本到视频模型
2022年,Parikh和Meta的一个团队开发了Make-a-Video,这是一个基于扩散算法的文本到视频AI模型。该模型从文本描述生成短视频片段,利用了扩散模型和变换器的进展。Make-a-Video建立在先前文本到图像生成工作的基础上,通过学习预测帧序列将其扩展到时间维度。这一创新对内容创作、虚拟环境和人机交互具有影响,代表了深度学习研究的重要一步。
奖项与认可
Parikh的研究为她赢得了多项荣誉。2011年,她因关于视觉属性的论文在国际计算机视觉大会(ICCV)上获得马尔奖,这是计算机视觉领域的顶级奖项之一。2017年,她获得了IJCAI计算机与思想奖,该奖项表彰人工智能领域的年轻研究人员。这些奖项反映了她在AI理论和应用方面的影响,从基础视觉算法到整合语言和视觉的实用系统。