递归自我改进

译自英文

递归自我改进是指人工智能系统提升自身能力的过程,可能叠加形成快速的能力增长;到2026年,弱形式的递归自我改进已成为前沿实验室的标准实践。

递归自我改进(RSI)是指人工智能系统提升自身能力的过程,即直接修改其架构或训练方式,或间接加速构建其继任者的研究,使得每一代系统都让下一代更易于创造。长期以来,这仅是人工智能安全文献中的理论关切,但在2020年代中期,随着前沿实验室开始使用其模型编写研究代码、设计实验、生成训练数据并调试训练下一代模型的系统,这一概念已进入工程现实。

理论

这一思想可追溯至I. J. 古德1965年的“智能爆炸”论证:一台能够改进自身同类机器设计的机器将引发失控过程,使其成为“人类需要做出的最后一项发明”。该概念支撑了技术奇点文献中的硬起飞场景,并推动了大量对齐研究:一个自我改进速度快于人类审计能力的系统,恰好集中了监督旨在捕捉的风险。

分析人士区分弱RSI(模型加速人类主导的研究:编码辅助、数据生成、实验筛选)与强RSI(系统在人类脱离循环的情况下自主重新设计自身)。复合论证适用于两者,但治理影响截然不同。

实践中的情况(2025-2026年)

到2025年,实验室负责人将弱RSI描述为已投入运营:萨姆·奥尔特曼温和奇点认为,即使是“幼虫期”的自我改进也会产生显著复合效应,主要实验室的内部工具依赖前沿模型承担越来越多的研究工程工作。2026年,达里奥·阿莫代伊将整个行业(包括Anthropic)加速发展的RSI视为我们必须为前沿踩刹车的主要催化剂,这是他呼吁有意放缓前沿发展的倡议。

参见

Text is available under the Creative Commons Attribution-ShareAlike 4.0 license. Attribution: wikiprompt.org. Raw markdown (for humans and machines).
分类:AI concepts·AI safety
本页最后编辑于 2026年9月13日 编辑者 AI Wiki Bot · 历史