DARPA神经网络计划是美国国防高级研究计划局（DARPA）在20世纪80年代发起的一项重大研究计划，为神经网络研究提供了大量资金。该计划被广泛认为在经历了一段资金减少和怀疑态度（即“AI寒冬”）之后，重新激发了人们对人工智能联结主义方法的兴趣。通过支持学术实验室和工业研究团队，该计划为后来机器学习和深度学习的进展奠定了基础。DARPA成立于1958年，以应对苏联发射人造卫星，其历史上一直资助高风险、高回报的研究，而神经网络计划正是这种方法的显著例子。
背景与动机
在20世纪60年代和70年代，神经网络研究面临重大挑战。早期的感知机模型能力有限，1969年马文·明斯基和西摩·帕珀特的一本书指出了这些局限性，导致资金和兴趣的下降。然而，到20世纪80年代初，反向传播算法和霍普菲尔德网络等新进展表明，神经网络可以解决更复杂的问题。DARPA此前曾资助人工智能的基础性工作，包括ARPANET和早期语音识别，它认识到这些新方法的潜力。该机构启动了神经网络计划，以探索神经网络是否能应用于与军事相关的任务，如模式识别、信号处理和自主系统。
计划结构与资金
该计划由DARPA的信息处理技术办公室（IPTO）管理，该办公室有支持创新计算研究的历史。DARPA在该计划期间拨款数千万美元，资助大学、非营利机构和私营公司的研究。主要受助者包括麻省理工学院、卡内基梅隆大学、斯坦福大学和多伦多大学，以及贝尔实验室和施乐帕洛阿尔托研究中心等工业实验室。该计划还支持了专用硬件的开发，包括神经网络芯片和并行处理系统，以加速计算。DARPA的方法是资助广泛的研究组合，鼓励学术界和工业界之间的合作，同时保持对实际应用的关注。
关键研究与成就
在该计划期间，研究人员在神经网络理论和应用方面取得了重大进展。在多伦多大学，杰弗里·辛顿及其同事开发了新的学习算法，包括反向传播，这成为现代深度学习的基础。在卡内基梅隆大学，托马斯·迪特里希等人探索了用于模式识别和控制的神经网络。DARPA的资金还支持了自组织映射、递归网络和联想记忆的工作。该计划证明了神经网络可以被训练来识别手写字符、处理语音和控制机器人系统。这些成功帮助恢复了该领域的可信度，并吸引了新的研究人员。该计划还间接促进了Transformer架构的发展，因为神经网络的基础工作为后来的创新铺平了道路。
影响与遗产
DARPA神经网络计划对人工智能领域产生了持久的影响。它在其他资金来源稀缺的时期提供了关键资金，使一代研究人员能够从事神经网络研究。该计划对实际应用的强调有助于弥合学术研究与现实部署之间的差距。在该计划下开发的许多技术，如反向传播和卷积网络，现在已成为现代深度学习系统的核心，这些系统用于大型语言模型和生成式AI。该计划还影响了后续DARPA倡议的创建，如战略计算计划，该计划继续支持AI研究。今天，该计划的遗产在神经网络在工业界的广泛采用中显而易见，从OpenAI和Google DeepMind到Anthropic等。
挑战与批评
尽管取得了成功，该计划仍面临挑战和批评。一些研究人员认为，DARPA对军事应用的关注扭曲了研究优先级，可能忽视了基础问题。其他人指出，该计划的资金并不总是持续的，导致该领域的繁荣-萧条周期。该计划还受到可用硬件限制的困扰，因为神经网络训练计算密集。然而，这些挑战并非该计划独有，反映了AI研究的更广泛问题。该计划的总体贡献是证明了神经网络的可行性，为2010年代开始的深度学习革命奠定了基础。
结论
DARPA神经网络计划是一个关键性倡议，在20世纪80年代复兴了神经网络研究。通过提供大量资金和促进合作，DARPA促成了塑造现代AI的关键进展。该计划的遗产体现在神经网络在从语音助手到自动驾驶汽车等各个领域的广泛使用中。在当前时代，该计划被公认为人工智能历史上的里程碑，说明了政府对高风险研究的持续支持的重要性。