超级智能指的是这样一种假设性的智能体：它在几乎所有领域，包括科学创造力、普遍智慧和社交技能方面，都将远超人类最优秀的心智表现。这一概念是围绕人工智能安全长期辩论的核心，并且与哲学家尼克·博斯特罗姆密切相关，他2014年的著作《超级智能：路径、危险与策略》将该理念带入主流视野，并深刻影响了后续关于人工智能风险的讨论。
概念的起源
关于机器超越人类智能的推测早于现代人工智能。数学家I. J. 古德是艾伦·图灵在第二次世界大战期间的同事，他在1965年的一篇文章中写道，一台“超级智能机器”能够设计出更好的机器，从而引发一场“智能爆炸”，使人类智能被远远抛在身后，这种动态有时被称为递归自我改进。这一思想为后来关于技术奇点的许多思考奠定了基础，技术奇点是一个假设中的技术失控性变革的临界点。
博斯特罗姆的分类法
博斯特罗姆的著作根据优势类型区分了超级智能的形式：“速度超级智能”（以人类水平心智但运行速度远快）、“集体超级智能”（许多心智有效协调）和“质量超级智能”（心智在质上更优，而不仅仅是更快）。他还推广了“正交性论题”，即智能与最终目标是相互独立的，这意味着一个高度能干的系统并不自动是仁慈的；以及相关的“工具性趋同论题”，即追求几乎任何目标的足够能干的主体，往往会寻求资源、自我保存和不受干扰的自由作为有用的子目标。
通往超级智能的路径
文献中提出的通往超级智能的途径包括扩展大型语言模型和基础模型系统、全脑仿真、生物认知增强以及网络化集体智能。自2020年代中期以来，行业的主要赌注是，在扩展定律的指导下，扩展计算、数据和模型规模，最终可能产生在广泛领域具有超人类表现的系统，尽管这条路径是否会导致真正的通用超级智能而非狭窄的超人类技能，仍存在争议。
安全与控制辩论
博斯特罗姆的“控制问题”、、即如何确保一个超级智能系统在超越人类评估或纠正能力之后，仍与人类价值观保持一致、、推动了当代大量对齐研究。包括部分围绕这一关切创立的Anthropic在内的组织，以及埃利泽·尤德科夫斯基等研究者，都认为错位的超级智能构成了严重的人工智能存在风险。Anthropic首席执行官达里奥·阿莫代伊和OpenAI联合创始人伊利亚·苏茨克弗（后者于2024年创立了安全超级智能公司，明确围绕这一目标）都将高度能干系统的安全开发框定为该领域的一个决定性挑战。
接受与批评
博斯特罗姆的论点受到了大量批评。一些研究者，包括扬·勒昆，认为当前架构远未达到这些场景所假设的那种通用、自主的能动性，并且推测性的长期风险叙事会分散人们对更近期、具体危害（如偏见、错误信息和劳动力中断）的注意力。其他人则质疑正交性论题，或认为递归自我改进面临收益递减和物理瓶颈（包括能源和芯片供应），而纯粹的“智能爆炸”框架低估了这些因素。尽管存在这些争议，超级智能仍然是人工智能治理讨论中的一个参考点，例如在2023年公开信中被引用，该信警告说，减轻人工智能灭绝风险应与流行病和核战争一道，成为全球优先事项。