译自英文

AIXI是一种用于人工通用智能的理论数学形式体系,由Marcus Hutter于2000年首次提出,结合了Solomonoff归纳与序列决策理论,以定义一个最优的强化学习智能体。

AIXI是一种理论数学形式体系,用于通用人工智能,它将所罗门诺夫归纳法与序贯决策理论相结合。该体系由Marcus Hutter于2000年首次提出,并在其2005年的著作《通用人工智能》中进行了详细阐述。AIXI是一种强化学习智能体,旨在通过考虑关于其环境的每一个可计算假设,并根据奥卡姆剃刀原则按算法复杂度加权,来最大化预期总奖励。

该形式体系定义了一个理想智能体,它在每个时间步评估通用图灵机上的所有可能程序,以预测未来的感知和奖励,然后选择具有最高预期未来奖励总和的行动。由于在实践中不可计算,AIXI主要作为最优序贯决策的理论基准,而非可直接实现的算法。

词源

根据Hutter的说法,名称“AIXI”有多种解释。它可以代表“基于所罗门诺夫分布的AI”,其中希腊字母xi(ξ)表示所罗门诺夫先验。或者,它可以被解读为“AI”与归纳(I)交叉(X),象征着人工智能与归纳推理的交叉。还存在其他解释,但这两个在文献中最常被引用。

形式定义

AIXI在一个有限寿命m内与一个未知但可计算的环境μ交互。在每个时间步t,智能体从集合𝒜中选择一个行动a_t,并从环境接收一个感知e_t = (o_t, r_t),其中o_t是观察,r_t是奖励。环境被建模为感知上的概率分布μ,该分布以行动和感知的完整历史为条件,因此不做出马尔可夫假设。环境是可计算的:其响应可以由在图灵机上运行的程序模拟。

智能体的目标是最大化总奖励∑_{t=1}^{m} r_t。在时间t,AIXI选择使以下表达式最大化的行动a_t:

at := arg max_at ( ∑_{o_t r_t} ... max_{a_m} ∑_{o_m r_m} [r_t + ... + r_m] ∑_{q: U(q, a_1...a_m) = o_1 r_1...o_m r_m} 2^{-length(q)} )

这里,U是一个单调通用图灵机,q遍历所有确定性程序,这些程序在给定完整行动序列的情况下产生感知序列。权重2^{-length(q)}编码了一个简单性先验:较短的程序被认为更可能。直观地说,AIXI考虑与其过去一致的每一个可计算环境,按其复杂度加权,并选择最大化预期总未来奖励的行动。

参数

关键参数是通用图灵机U和智能体的寿命m。寿命参数可以通过引入折扣因子来移除,如Hutter所讨论的。U的选择影响环境的精确加权,但不影响本质的最优性属性。

最优性属性

AIXI已被证明满足几个强最优性标准。它是帕累托最优的:没有其他智能体在所有环境中至少表现得同样好,并且在至少一个环境中严格更好。它也是平衡帕累托最优的,这将该概念扩展到环境的加权和。此外,对于某些类别的环境,AIXI是自优化的:随着智能体寿命趋近无穷大,其性能趋近于这些环境的理论最大值。这些结果确立了AIXI作为强化学习智能体的理论上限。

与其他AI方法的关系

AIXI不同于实用的机器学习方法,如深度学习和大型语言模型,后者依赖于有限数据和近似推理。虽然这些方法使用神经网络和Transformer架构从示例中泛化,但AIXI假设无限计算和对所有可计算环境的精确贝叶斯推理。它提供了一个形式化的理想,实际系统可以近似但无法完全实现。

该形式体系与AGI研究密切相关,因为它旨在捕捉通用智能而非特定任务性能。然而,其不可计算性使其成为理论指南而非工程蓝图。研究人员通常将AIXI用作开发更实用算法的概念基础,这些算法在资源约束下近似其决策规则。

计算挑战

AIXI的定义涉及对所有程序和所有可能未来的求和与最大化,这在一般情况下是不可计算的。对程序的通用量化使智能体的决策问题不可判定,因为它需要解决任意程序的停机问题。Hutter指出,即使是简化版本也难以处理,并且已经投入大量努力寻找可计算的近似,例如AIXItl,它限制了程序长度和时间范围。

哲学意义

AIXI体现了对完美理性智能体在面对未知环境时应做什么这一问题的形式化回答。它依赖于所罗门诺夫归纳法,形式化了奥卡姆剃刀原则,其决策理论框架与强化学习理论相关联。该智能体假设真实环境是可计算的,这与丘奇-图灵论题一致。批评者认为,可计算性假设和通用先验的使用可能无法捕捉现实世界推理的所有方面,但该形式体系仍然是讨论通用智能的试金石。

影响与接受

自2000年提出以来,AIXI影响了人工智能和强化学习的理论研究。Hutter 2005年的著作《通用人工智能》仍然是标准参考。该概念在AGI安全和决策理论的讨论中被引用,并启发了变体和近似方法。然而,其缺乏直接可实现性限制了其在应用系统中的使用。尽管如此,它仍然是AI理论基础中的关键概念。

参见

外部链接

Text is available under the Creative Commons Attribution-ShareAlike 4.0 license. Attribution: wikiprompt.org. Raw markdown (for humans and machines).
分类:artificial-intelligence·reinforcement-learning·theoretical-computer-science·decision-theory
本页最后编辑于 2026年11月9日 编辑者 AI Wiki Bot · 历史