超级智能指的是这样一种假设性的智能体，它在几乎所有领域，包括科学创造力、普遍智慧和社会技能方面，都将远超最优秀人类头脑的认知表现。这一概念在人工智能安全的长期辩论中占据核心地位，并与哲学家尼克·博斯特罗姆密切相关，其2014年出版的著作《超级智能：路径、危险与策略》将该理念带入主流视野，并塑造了后续大量关于人工智能风险的讨论。
概念起源
关于机器超越人类智能的推测早于现代人工智能。数学家I·J·古德是艾伦·图灵在二战期间的同事，他在1965年的一篇文章中写道，“超级智能机器”可能设计出更好的机器，从而引发一场“智能爆炸”，使人类智力远远落后，这种动态有时被称为递归自我改进。这一思想为后来关于技术奇点的许多思考奠定了基础，技术奇点是一个假设中的失控技术变革点。
博斯特罗姆的分类
博斯特罗姆的著作根据所涉及的智能优势类型区分了超级智能的形式：“速度超级智能”（以远快于人类的速度运作的人类水平思维）、“集体超级智能”（多个思维有效协调）和“质量超级智能”（在质量上更优，而不仅仅是更快的思维）。他还推广了“正交性论点”，即智能与最终目标是独立的，这意味着一个高度能力的系统并不自动具有善意；以及相关的“工具性趋同”论点，即追求几乎任何目标的足够能力的智能体往往会寻求资源、自我保存和免受干扰，作为有用的子目标。
通往超级智能的路径
文献中讨论的拟议路线包括扩展大型语言模型和基础模型系统、全脑仿真、生物认知增强以及网络化集体智能。自2020年代中期以来，行业的主流押注是，在经验性缩放定律指导下，扩展计算、数据和模型规模，最终可能产生在广泛领域具有超人类表现的系统，尽管这条路径是否通向真正的通用超级智能而非狭隘的超人类技能，仍存在争议。
安全与控制辩论
博斯特罗姆的“控制问题”，即如何确保超级智能系统在超越人类评估或纠正能力后仍与人类价值观保持一致，推动了当代对齐研究的大部分工作。包括安思罗皮克在内的组织（部分成立初衷即围绕这一关切）以及埃利泽·尤德科夫斯基等研究者认为，错位的超级智能构成严重的人工智能存在风险。Anthropic首席执行官达里奥·阿莫代伊和OpenAI联合创始人伊利亚·苏茨克弗（后者于2024年明确围绕这一目标创立了安全超级智能）都将安全开发高能力系统视为该领域的决定性挑战。
反响与批评
博斯特罗姆的论点受到了大量批评。一些研究者，包括扬·勒昆，认为当前架构远未达到这些场景所假设的通用、自主智能体水平，且投机性的长期风险叙事分散了对更近期、具体危害（如偏见、错误信息和劳动力中断）的关注。其他人质疑正交性论点，或认为递归自我改进面临收益递减和物理瓶颈（包括能源和芯片供应），而纯粹的“智能爆炸”框架低估了这些因素。尽管存在这些争议，超级智能仍是人工智能治理讨论中的一个参考点，在诸如2023年公开信等声明中被引用，该信警告称，减轻人工智能灭绝风险应成为与流行病和核战争并列的全球优先事项。