Adriana Romero是一位专攻机器学习和深度学习的计算机科学家。她以在知识蒸馏方面的工作而闻名，尤其是FitNets架构，并领导了Meta基础人工智能研究（FAIR）实验室的巴黎分部。她的研究聚焦于高效的神经网络训练与压缩，并应用于计算机视觉及其他领域。
Romero的学术生涯始于计算机科学博士学位，期间她专注于用于视觉识别的深度学习架构。她的博士研究完成于2010年代中期，为训练更深、更高效的神经网络技术发展做出了贡献。这项工作为她后来在模型压缩和知识迁移方面的贡献奠定了基础。
FitNets与知识蒸馏
Romero被引用最多的贡献是FitNets论文，该论文与Yoshua Bengio等合作者共同撰写，于2014年发表。该论文引入了一种超越传统师生范式的知识蒸馏方法。FitNets不仅匹配更大的预训练教师网络的最终输出，还匹配教师与更薄、更深的学生网络之间的中间表示（即特征图）。这种方法被称为“基于提示的训练”，使学生能够更有效地从教师的内部表示中学习。
FitNets方法证明，学生网络可以比其教师网络更深、更薄，同时在CIFAR-10和ImageNet等图像分类基准上达到相当甚至更好的准确率。这项工作对模型压缩技术的发展具有影响力，而模型压缩对于在资源受限设备（如手机和嵌入式系统）上部署深度学习模型至关重要。使用中间特征进行蒸馏的概念已在后续研究中被广泛采用和扩展。
研究贡献
除了FitNets之外，Romero还为深度学习的其他多个领域做出了贡献。她的工作探索了高效推理的架构，包括紧凑卷积网络的设计。她还研究了改善深度模型训练稳定性和泛化能力的方法，例如通过仔细的初始化和正则化策略。
Romero在顶级会议和期刊上发表了论文，包括NeurIPS、ICLR和CVPR。她的研究被引用了数千次，反映了其对该领域的影响。她还担任了主要机器学习会议的审稿人和领域主席，为学术界的同行评审过程做出了贡献。
在FAIR巴黎的领导工作
在2010年代后期，Romero加入了Facebook AI Research（现为FAIR）担任研究科学家。她后来成为FAIR巴黎的负责人，领导一个专注于基础和应用AI问题的研究团队。在她的领导下，巴黎实验室致力于自监督学习、多模态AI和高效模型架构等主题。该实验室与学术机构合作，并为开源项目（如PyTorch生态系统和各种模型发布）做出贡献。
她的角色包括设定研究方向、指导初级研究人员，以及促进与门洛帕克、纽约和伦敦其他FAIR实验室的合作。她一直是开放研究和可复现AI的积极倡导者，这与Meta分享研究成果的更广泛战略一致。
影响与认可
Romero在知识蒸馏方面的工作对模型压缩和高效AI领域产生了持久影响。FitNets论文被认为是该领域的基础性工作，其技术被许多需要小型、快速模型的生产系统所使用。她在FAIR巴黎的领导地位也使她成为欧洲AI研究社区中的杰出人物。
她受邀在众多会议和研讨会上发表演讲，其研究被行业和学术媒体报道。截至2020年代初期，她仍然是一位活跃的研究者和领导者，为人工智能及其应用的发展做出贡献。