技术奇点是一个假设性的未来时间点,在此之后,主要由先进人工智能驱动的技术增长将变得如此迅速且自我强化,以至于对人类文明产生不可预测且不可逆转的转变。该术语类比于数学奇点,即常规规则失效且无法预测其之后情况的点。
思想的起源
数学家兼物理学家斯坦尼斯瓦夫·乌拉姆在回忆20世纪50年代与约翰·冯·诺依曼的一次对话时,描述冯·诺依曼曾评论“技术不断加速的进步”正接近“人类历史中的某种本质奇点,超越这一点后,我们所知的人类事务将无法继续”。这一概念由计算机科学家兼科幻作家弗诺·文奇进一步发展,其颇具影响力的1993年文章《即将到来的技术奇点》认为,超人智能的创造将标志着一个事件视界,在此之后,未来对未增强的人类而言从根本上变得不可知,并预测这可能在几十年内发生。
库兹韦尔与加速回报定律
未来学家雷·库兹韦尔向主流受众普及了这一思想,最著名的是其2005年出版的著作《奇点临近》。库兹韦尔认为,计算、生物技术及其他领域中呈指数增长的趋势,被形式化为“加速回报定律”,将导致人类与机器智能的融合,并多次预测奇点将在2045年左右到来。他具体预测的记录既因方向性准确而受到赞扬,也因错过日期和过度延伸而受到批评。
智能爆炸
解释奇点如何发生的最常被引用的机制是数学家I·J·古德在1965年描述的“智能爆炸”,后来由尼克·博斯特罗姆详细阐述:一个能够改进自身设计的人工智能系统,可以在快速加速的反馈循环中产生连续更强能力的版本,最终达到远超人类理解的超级智能,这一情景被一些人视为从通用人工智能快速通往远超其之上的路径。这种框架将奇点概念与当代人工智能存在风险辩论紧密联系起来,因为突然且不受控制的能力跃升将几乎没有时间进行纠偏。
批评与怀疑
批评者认为,奇点概念依赖于对指数曲线的可疑外推,而这些曲线在实践中往往遵循具有递减回报的S形曲线,并且“智能”并非一个可以无限扩展的单一标量。物理约束,包括能源可用性、芯片制造能力和数据可用性,被视为可能的瓶颈。诸如扬·勒昆和加里·马库斯等研究者认为,近期奇点情景是推测性的,且未充分基于当前系统的实际运作方式,同时承认人工智能进展按历史标准仍然迅速。
当代相关性
尽管“奇点”作为一个具体日期的特定事件,如今在研究者中使用时比大众评论者更为谨慎,但其根本问题,即人工智能进展是否可能达到一个快速且难以控制的自我改进拐点,继续为人工智能安全和对齐研究提供信息,包括关于缩放定律以及来自推理模型系统利用额外推理时间计算所带来的能力增长步伐的辩论。