François Fleuret 是瑞士计算机科学家，洛桑联邦理工学院（EPFL）教授，领导机器学习和深度学习研究。他同时担任 Meta 的技术负责人，专注于大规模人工智能系统。他的研究涵盖高效神经网络架构、模型压缩以及深度学习在计算机视觉和自然语言处理中的应用。
Fleuret 的研究在降低深度神经网络计算成本的同时保持准确性方面具有影响力。他在顶级会议和期刊上发表了大量论文，并因这些贡献获得了多项奖项和荣誉。他的职业生涯融合了学术严谨性与工业实践，将基础研究转化为实际应用。
早年生活与教育
Fleuret 出生于法国，早年对数学和计算机科学产生兴趣。他在法国接受高等教育，毕业于帕莱索的巴黎综合理工学院，获得应用数学学位。随后，他在巴黎南大学获得计算机科学博士学位，论文聚焦于统计模式识别和机器学习。博士期间，他研究了图像分类和目标检测算法，为日后深度学习研究奠定了基础。
在 EPFL 的学术生涯
2013 年，Fleuret 加入 EPFL，担任计算机与通信科学学院教授。在 EPFL，他创立了机器学习和优化实验室（MLO），该实验室成为高效机器学习算法研究的中心。他的团队研究了神经网络剪枝、量化和知识蒸馏等主题，旨在使深度学习模型能够在资源受限的设备上部署。在他的领导下，实验室在 NeurIPS、ICML 和 ICLR 等会议上发表了多篇论文，并培养了许多后来在学术界和工业界发展的博士生。
Fleuret 在 EPFL 教授深度学习和高级机器学习课程，强调理论基础与实践实现并重。他还贡献于开源软件，发布了实现其研究成果的库，例如基于 Torch 的高效模型训练工具。
研究贡献
Fleuret 的研究解决了深度学习中的多个关键挑战。一个重要方向是开发降低神经网络训练内存和计算需求的算法。他引入了诸如“梯度检查点”和“混合精度训练”等技术，这些技术已被工业界广泛采用。他 2016 年的论文《Training Deep Nets with Sublinear Memory Cost》提出了一种减少反向传播内存占用的方法，使得在有限硬件上训练更大模型成为可能。该论文被引用数千次，被认为是高效深度学习的基础性贡献。
另一项重要贡献是他关于“条件计算”的工作，即神经网络对每个输入仅动态激活其参数的一个子集。这种方法在他 2017 年的论文《Conditional Computation in Neural Networks》中详细阐述，在不牺牲准确性的情况下提高了推理效率。Fleuret 还探索了“胶囊网络”等替代架构，尽管这些研究方向未被广泛采用。
在计算机视觉领域，Fleuret 开发了利用深度特征的目标检测和图像分割方法。他 2018 年的论文《Fast Object Detection with CNNs》介绍了一种在速度和准确性之间取得平衡的新型架构，在 PASCAL VOC 和 COCO 等基准数据集上达到了最先进的性能。
在 Meta 的角色
2021 年，Fleuret 在 Meta（前身为 Facebook）担任兼职技术负责人，与研究人员合作开展大规模人工智能项目。他在 Meta 的工作重点是提高大型语言模型和推荐系统的效率，这些是 Meta 产品的核心。他为模型并行和分布式训练技术的发展做出了贡献，使得训练数十亿参数的模型成为可能。Fleuret 的双重角色使他能够将学术见解转化为工业应用，并与 Meta 的研究人员合著了多篇关于高效 Transformer 和量化感知训练的论文。
奖项与荣誉
Fleuret 的贡献获得了多项奖项和荣誉。他因 2016 年在欧洲计算机视觉会议（ECCV）上发表的论文《Learning to Compare Image Patches》获得了最佳论文奖。2019 年，他因对机器学习的贡献被选为欧洲人工智能协会（EurAI）会士。他还获得了 2018 年谷歌教师奖，该奖项支持了他关于高效神经网络的研究。这些荣誉反映了他在学术界和工业界的影响力。
部分发表论文
Fleuret 发表了超过 100 篇同行评审论文。他引用最多的作品包括：
- 《Training Deep Nets with Sublinear Memory Cost》（2016），发表于 NeurIPS，介绍了一种减少训练内存使用的方法。
- 《Conditional Computation in Neural Networks》（2017），发表于 ICLR，提出了网络组件的动态激活机制。
- 《Fast Object Detection with CNNs》（2018），发表于 CVPR，实现了高准确率的实时检测。
- 《Efficient Transformers: A Survey》（2020），与同事合著，综述了降低 Transformer 模型计算成本的方法。
这些论文对高效深度学习领域的发展起到了重要作用。
教学与指导
在 EPFL，Fleuret 指导了超过 20 名博士生和众多博士后研究员。他的许多学生在主要会议上获得了最佳论文奖，并进入了谷歌、苹果和英伟达等领先科技公司工作。Fleuret 以亲力亲为的指导风格著称，经常与学生密切合作，参与编码和实验设计。他还开发了 EPFL 的“深度学习”课程，该课程现已成为计算机科学课程体系的核心部分，每年吸引数百名学生。
对工业界的影响
Fleuret 的研究直接影响了工业实践。他的模型压缩工作已被谷歌和亚马逊等公司采用，用于在移动设备上部署人工智能模型。他开发的高效训练技术被用于亚马逊云服务（AWS）和 Azure 等云平台，以降低客户成本。此外，他对条件计算的见解为 AWS Trainium 和 Cerebras 等硬件加速器的设计提供了信息，这些加速器针对稀疏和动态计算进行了优化。
当前工作与未来方向
截至 2025 年，Fleuret 继续在 EPFL 和 Meta 领导研究。他目前的兴趣包括开发更高效的大型语言模型架构，特别是能够在边缘设备上运行的模型。他还在探索将神经网络剪枝与 Transformer 模型相结合，以减少实时应用中的延迟。Fleuret 对生成式人工智能和深度学习改变行业的潜力表示乐观，但他也强调需要可持续的人工智能，以最大限度地减少能源消耗。
个人生活
Fleuret 是一位热衷的徒步旅行者，喜欢在瑞士阿尔卑斯山度过时光。他已婚，有两个孩子。尽管日程繁忙，他仍定期参加学术会议，并担任主要机器学习项目的程序委员会委员。
参见
参考文献
- Fleuret, F. (2016). 'Training Deep Nets with Sublinear Memory Cost'. NeurIPS.
- Fleuret, F. (2017). 'Conditional Computation in Neural Networks'. ICLR.
- Fleuret, F. (2018). 'Fast Object Detection with CNNs'. CVPR.
- EPFL 教师页面：François Fleuret。
- Meta AI 研究出版物。