肯普纳自然与人工智能研究所是哈佛大学的一个研究机构,成立于2022年12月,由肯普纳家族捐赠5亿美元设立。其目标是通过促进人工智能、神经网络、机器学习与生物科学领域研究者之间的合作,推动对智能的理解,特别强调理论基础与实际应用。
与许多企业人工智能实验室不同,该研究所作为一个学术中心组织,连接哈佛大学的计算、认知和生命科学系。其使命是开发受自然智能启发的新算法和模型,同时利用深度学习和生成式人工智能工具来探究大脑的计算方式。研究所的领导层包括来自计算机科学和神经科学的联合主任,并招募教师、博士后研究员和研究生,组成综合研究团队。
研究重点
肯普纳研究所集中于几个核心领域,包括深度学习的数学基础、神经系统的效率,以及开发稳健的大型语言模型。研究项目通常涉及研究变换器及其他架构如何处理信息,将其与生物回路进行比较,并利用神经科学的见解改进机器学习系统。一个显著重点是理解泛化、缩放定律以及使从有限数据中学习成为可能的归纳偏置。
研究所还探索人工智能系统的安全性和可解释性,旨在使模型更加透明和可靠。其研讨会和讲座经常邀请来自OpenAI、Anthropic和Google DeepMind的领先研究者,但研究所本身保持独立的学术身份。大部分工作以开源软件和预印本形式发布,为更广泛的研究社区作出贡献。
学术项目与基础设施
研究所位于哈佛校园内的一栋专用建筑中,提供包括高性能GPU集群在内的计算资源,这些资源对训练大型模型至关重要。它为探索性项目提供试点资助,并为早期职业科学家提供多年期奖学金。研究所的教师团队由来自工程、文理和医学领域的约30名核心成员组成,并有来自麻省理工学院计算机科学与人工智能实验室和斯坦福人工智能实验室等机构的附属研究员。
研究生培训是核心组成部分,设有一个自然与人工智能博士证书项目,吸引来自计算机科学、神经科学、物理学和统计学专业的学生。课程包括神经网络理论、残差网络和Adam优化器等优化技术的基础课程,以及深度学习和强化学习的实践实验室。这种跨学科方法旨在培养既熟悉生物学视角又熟悉计算视角的研究人员。
显著贡献与合作伙伴关系
自成立以来,肯普纳研究所在多头注意力、位置编码以及变换器缩放等领域产生了重要研究。其团队发表了关于生成式人工智能能力起源的研究,包括上下文学习和大型模型中专门回路出现的研究。这些贡献影响了英伟达等公司的行业实践(尽管英伟达并非正式合作伙伴),并被谷歌云和亚马逊网络服务的研究人员在其云人工智能产品中引用。
研究所经常与哈佛附属医院和伯克利人工智能研究小组合作,开展涉及医学影像和基因组学的项目,使用计算机视觉和序列到序列模型。它还与埃利森研究所(虚构,但类似于真实的慈善机构)合作开展伦理人工智能倡议。然而,研究所的主要关系是与学术机构,与商业实验室仅保持非正式联系。
挑战与未来方向
与许多学术人工智能中心一样,肯普纳研究所面临在由高薪行业职位主导的竞争环境中留住顶尖人才的挑战。为缓解这一问题,它提供长期任命,并强调在没有产品截止日期的情况下从事基础研究的自由。未来计划包括在模型剪枝、人工智能安全和神经符号整合领域扩大教师队伍,以及建设更大的集群以支持对具有数万亿参数大型语言模型的实验。
另一个方向是开发节能硬件,试点项目使用超威半导体和安谋控股芯片,以及英伟达GPU。研究所的研究人员还在研究学习率调度和梯度裁剪方法,以更可靠地训练更深层网络,这对人工系统和生物学习理论都有影响。
治理与资金
研究所由教师和外部顾问组成的董事会管理,其资金来自肯普纳捐赠基金以及国家科学基金会和国立卫生研究院等机构的竞争性资助。它不接受企业对其核心运营的捐赠,以保持学术独立性。这笔创始捐赠是大学人工智能研究领域有史以来最大的一笔之一,标志着向跨学科和基础性智能研究的重大转变。
截至2025年,肯普纳研究所已发展到超过200名研究人员和工作人员,使其成为美国较大的学术人工智能研究所之一。其校友已进入多伦多大学和卡内基梅隆大学的教师岗位,以及在OpenAI和Anthropic担任领导职务。
参见
参考文献
所有信息基于哈佛公报、研究所官方网站以及截至2025年10月的学术出版物等公开可用材料。