乔纳森·弗兰克尔是一位计算机科学家，专攻机器学习和深度学习。他以对神经网络稀疏性的研究而闻名，尤其是他与迈克尔·卡宾在麻省理工学院计算机科学与人工智能实验室共同提出的“彩票假说”。截至2024年，他担任MosaicML公司的首席科学家，该公司专注于大型语言模型的高效训练与部署。
弗兰克尔的研究将神经网络的理论洞见与生成式人工智能的实践系统相结合。他的工作影响了研究人员和工程师处理模型压缩与资源高效型人工智能的方式，这是该领域日益关注的重要议题。
早年生活与教育
弗兰克尔在卡内基梅隆大学完成了计算机科学的本科学习，并于2013年毕业。随后，他在麻省理工学院攻读博士学位，师从迈克尔·卡宾。他的博士研究聚焦于理解已训练神经网络的内在结构，最终促成了2018年彩票假说的提出。他于2021年获得博士学位。
彩票假说
彩票假说由弗兰克尔与卡宾在2019年的一篇论文中提出，该假说认为，一个稠密的神经网络中包含一个子网络，，即“中奖彩票”，，当单独训练时，其测试准确率可以媲美原始网络。这一子网络通过迭代剪枝过程识别：训练网络，剪除最小幅度的权重，将剩余权重重置为初始值，再重新训练。该假说挑战了剪枝主要用于推理阶段效率优化的传统观点，表明稀疏网络同样可以从头开始有效训练。
这一研究在人工智能领域引起了广泛关注，因为它对理解神经网络和优化神经网络都具有重要意义。它提出，过参数化可能更多关乎存在大量可行子网络，而非单纯的能力冗余。弗兰克尔及其合作者的后续研究将该思想扩展到更复杂的架构，包括Transformer，并探讨了学习率调度和权重初始化在寻找这些“彩票”中的作用。
MosaicML职业生涯
获得博士学位后，弗兰克尔加入MosaicML，担任首席科学家。该公司由前英特尔和英伟达工程师于2021年创立，专注于高效训练方法的研发，包括MosaicML Streaming数据集库和Composer训练框架。他的团队致力于降低训练大型模型的成本和时间，使规模较小的组织也能使用这些技术。
2023年，MosaicML被Databricks收购，交易金额约为13亿美元。收购后，弗兰克尔继续担任首席科学家，负责模型优化研究以及MPT-7B和MPT-30B等开源模型的发布。这些模型以在较低计算资源下达到与OpenAI的GPT-3相媲美的性能而著称。
研究贡献
除彩票假说外，弗兰克尔还在机器学习的多个领域作出了贡献。他在“线性模式连通性”方面的研究探索了独立训练的模型如何在权重空间中进行插值，为深度网络的损失景观提供了洞见。他还研究了数据排序和批归一化对训练动态的影响。
弗兰克尔倡导人工智能研究的可复现性，发表了详细的实验方案并开源了研究代码。他的论文发表于NeurIPS、ICML和ICLR等主要会议，并担任这些会议的审稿人。
影响与认可
弗兰克尔的研究在深度学习文献中被广泛引用，彩票假说论文获得了数千次引用。他的思想影响了PyTorch和TensorFlow等框架中的模型压缩工具开发。Google DeepMind和Anthropic等公司的从业者也在高效模型设计的讨论中引用他的工作。
在更广泛的生成式人工智能背景下，弗兰克尔对效率的关注与降低大型模型使用门槛的努力相一致。他在MosaicML的工作推动了开放权重模型的趋势，与主要实验室的专有方法形成对比。截至2024年，他仍活跃于该领域，参加会议并就能源可持续人工智能发展发表公开演讲。
主要出版物
- 《彩票假说：寻找稀疏、可训练的神经网络》（与迈克尔·卡宾合作，2019年）
- 《线性模式连通性与彩票假说》（与贡达帕·萨胡等人合作，2020年）
- 《稳定彩票假说》（与贡达帕·萨胡等人合作，2020年）
- 《MosaicML：大型语言模型的高效训练》（技术报告，2023年）
参考资料
他的研究成果记录于学术论文和技术报告中，可通过arXiv和会议论文集获取。多家科技媒体也对他进行了采访和报道，讨论了他对高效人工智能的贡献。