超级智能指的是这样一种假设性的智能体，其认知表现将远超人类最优秀的心智，并且几乎在所有领域都如此，包括科学创造力、普遍智慧以及社交技能。这一概念是人工智能安全长期辩论的核心，并且与哲学家尼克·博斯特罗姆密切相关，他在2014年出版的著作《超级智能：路径、危险、策略》将这一思想带入了主流视野，并深刻影响了后续关于人工智能风险的讨论。
概念起源
关于机器超越人类智能的推测早于现代人工智能。数学家I. J. 古德是艾伦·图灵在第二次世界大战期间的同事，他在1965年的一篇文章中写道，一台“超级智能机器”能够设计出更好的机器，从而引发一场“智能爆炸”，使人类智能远远落后，这一过程有时被称为递归自我改进。这一思想为后来关于技术奇点的许多思考奠定了基础，技术奇点是指技术变革失控的假设性时刻。
博斯特罗姆的分类
博斯特罗姆在书中根据优势类型区分了超级智能的几种形式：“速度超级智能”（以远快于人类的速度运行的人类水平智能）、“集体超级智能”（由许多协调一致的较小智能体组成的系统，整体上远超任何现有认知能力），以及“质量超级智能”（在质量上优于人类大脑的智能，而不仅仅是速度更快）。他还推广了“正交性论点”，即智能水平与其最终目标在逻辑上相互独立，因此一个高度智能的系统并不自动具有仁慈的目标。此外，他还提出了“工具性收敛论点”，即任何足够智能的追求目标的智能体，无论其最终目标是什么，都会倾向于寻求资源、自我保存以及免受干扰的自由，因为这些是达成任何目标的普遍有用的工具性子目标。
通往超级智能的路径
文献中讨论的通往超级智能的途径包括扩展大型语言模型和基础模型系统、全脑仿真、生物认知增强以及网络化集体智能。自2020年代中期以来，业界的主流押注是，通过扩展计算、数据和模型规模，并依据经验性的扩展定律，最终可能产生在广泛领域具有超人类表现的系统，尽管这条路径是否会导致真正的通用超级智能，而非狭隘的超人类技能，仍然存在争议。
安全与控制辩论
博斯特罗姆提出的“控制问题”--即如何确保一个超级智能系统在超越人类评估或纠正能力之后，仍然与人类价值观保持一致--是当代对齐研究的主要驱动力。包括Anthropic在内的组织，其创立部分源于对这一问题的关切，以及埃利泽·尤德科夫斯基等研究者，都曾论证，错位的超级智能可能构成人工智能生存风险。Anthropic的首席执行官达里奥·阿莫代伊和OpenAI的联合创始人伊利亚·苏茨克弗（后者于2024年创立了安全超级智能公司，明确以此为目标）都将安全开发高度能力系统视为该领域的一项决定性挑战。
接受与批评
博斯特罗姆的论点也受到了大量批评。一些研究者，包括扬·勒昆，认为当前的架构远非这些场景所假设的那种通用、自主的智能体，并且对推测性的长期风险的关注，可能会分散对更近期、更具体的危害（如偏见、错误信息和劳动力中断）的注意力。其他人则质疑正交性论点，或者认为递归自我改进会面临收益递减和物理瓶颈（包括能源和芯片供应），这使得纯粹的“智能爆炸”设想被低估了。尽管存在这些争议，超级智能仍然是人工智能治理讨论中的一个核心参照点，例如在2023年一封公开信中就被引用，该信警告说，减轻人工智能带来的灭绝风险，应与应对大流行病和核战争一样，被视为全球优先事项。