AIXI는 인공 일반 지능을 위한 이론적 수학적 형식주의로, Solomonoff 귀납과 순차적 결정 이론을 결합한 것이다. 2000년 Marcus Hutter에 의해 처음 제안되었으며, 그의 2005년 저서 Universal Artificial Intelligence에서 상세히 다루어졌다. AIXI는 강화 학습 에이전트로, 환경에 대한 모든 계산 가능한 가설을 알고리즘 복잡도에 따라 가중치를 두고 Occam의 면도날 원칙에 따라 기대 총 보상을 최대화하는 것을 목표로 한다.
이 형식주의는 이상적인 에이전트를 정의하며, 각 시간 단계에서 보편 튜링 기계에서 가능한 모든 프로그램을 평가하여 미래의 지각과 보상을 예측한 후, 미래 보상의 기대 합이 가장 높은 행동을 선택한다. 실제로는 계산 불가능하기 때문에 AIXI는 주로 직접 구현 가능한 알고리즘보다는 최적 순차적 의사 결정을 위한 이론적 기준점으로 사용된다.
어원
Hutter에 따르면, 'AIXI'라는 이름은 여러 해석이 가능하다. 이는 'Solomonoff 분포에 기반한 AI'를 의미할 수 있으며, 여기서 그리스 문자 xi(ξ)는 Solomonoff 사전 확률을 나타낸다. 또는 'AI'가 귀납(I)과 교차(X)된 것으로 읽을 수 있으며, 인공 지능과 귀납적 추론의 교차를 상징한다. 다른 해석도 존재하지만, 이 두 가지가 문헌에서 가장 흔히 인용된다.
형식적 정의
AIXI는 유한한 수명 m 동안 알려지지 않았지만 계산 가능한 환경 μ와 상호작용한다. 각 시간 단계 t에서 에이전트는 집합 𝒜에서 행동 a_t를 선택하고 환경으로부터 지각 e_t = (o_t, r_t)를 받는데, 여기서 o_t는 관찰이고 r_t는 보상이다. 환경은 행동과 지각의 전체 이력에 조건부로 지각에 대한 확률 분포 μ로 모델링되므로, 마르코프 가정은 이루어지지 않는다. 환경은 계산 가능하다. 즉, 그 반응은 튜링 기계에서 실행되는 프로그램으로 시뮬레이션될 수 있다.
에이전트의 목표는 총 보상 ∑_{t=1}^{m} r_t를 최대화하는 것이다. 시간 t에서 AIXI는 다음 식을 최대화하는 행동 a_t를 선택한다:
at := arg max_at ( ∑_{o_t r_t} ... max_{a_m} ∑_{o_m r_m} [r_t + ... + r_m] ∑_{q: U(q, a_1...a_m) = o_1 r_1...o_m r_m} 2^{-length(q)} )
여기서 U는 단조 보편 튜링 기계이고, q는 전체 행동 시퀀스가 주어졌을 때 지각 시퀀스를 생성하는 모든 결정적 프로그램을 범위로 한다. 가중치 2^{-length(q)}는 단순성 사전 확률을 인코딩한다. 즉, 더 짧은 프로그램이 더 가능성이 높은 것으로 간주된다. 직관적으로 AIXI는 과거와 일치하는 모든 계산 가능한 환경을 고려하고, 각각을 복잡도에 따라 가중치를 두며, 기대 총 미래 보상을 최대화하는 행동을 선택한다.
매개변수
주요 매개변수는 보편 튜링 기계 U와 에이전트의 수명 m이다. 수명 매개변수는 Hutter가 논의한 대로 할인 계수를 도입하여 제거할 수 있다. U의 선택은 환경의 정확한 가중치에 영향을 미치지만, 본질적인 최적성 속성에는 영향을 미치지 않는다.
최적성 속성
AIXI는 여러 강력한 최적성 기준을 충족하는 것으로 입증되었다. 이는 파레토 최적이다. 즉, 다른 에이전트가 모든 환경에서 최소한 동등하게 수행하고 적어도 하나의 환경에서 엄격히 더 잘 수행할 수 없다. 또한 균형 잡힌 파레토 최적이며, 이는 환경의 가중 합으로 개념을 확장한다. 더 나아가 AIXI는 특정 환경 클래스에 대해 자기 최적화적이다. 에이전트의 수명이 무한대에 가까워짐에 따라 성능은 해당 환경에 대한 이론적 최대치에 접근한다. 이러한 결과는 AIXI를 강화 학습 에이전트에 대한 이론적 상한으로 확립한다.
다른 AI 접근법과의 관계
AIXI는 기계 학습의 실용적인 방법, 예를 들어 딥 러닝 및 대규모 언어 모델과 다르며, 이들은 유한한 데이터와 근사 추론에 의존한다. 이러한 방법은 신경망 및 트랜스포머 아키텍처를 사용하여 예제에서 일반화하는 반면, AIXI는 무제한 계산과 모든 계산 가능한 환경에 대한 정확한 베이즈 추론을 가정한다. 이는 실용 시스템이 근사하지만 완전히 달성할 수 없는 형식적 이상을 제공한다.
이 형식주의는 AGI 연구와 밀접한 관련이 있으며, 작업별 성능보다는 보편적 지능을 포착하는 것을 목표로 한다. 그러나 계산 불가능성으로 인해 이는 엔지니어링 청사진보다는 이론적 지침으로 작용한다. 연구자들은 종종 AIXI를 자원 제약 하에서 그 결정 규칙을 근사하는 더 실용적인 알고리즘을 개발하기 위한 개념적 기반으로 사용한다.
계산적 과제
AIXI의 정의는 모든 프로그램과 모든 가능한 미래에 대한 합과 최대화를 포함하며, 이는 일반적으로 계산 불가능하다. 프로그램에 대한 보편적 양화는 에이전트의 결정 문제를 결정 불가능하게 만들며, 임의 프로그램에 대한 정지 문제를 해결해야 하기 때문이다. Hutter는 단순화된 버전조차 다루기 어렵다고 지적했으며, 프로그램 길이와 시간 지평을 제한하는 AIXItl과 같은 계산 가능한 근사를 찾는 데 상당한 노력이 기울여졌다.
철학적 함의
AIXI는 알려지지 않은 환경에 직면했을 때 완벽하게 합리적인 에이전트가 무엇을 해야 하는지에 대한 형식적 답변을 구현한다. Solomonoff 귀납에 대한 의존은 Occam의 면도날을 형식화하며, 결정 이론적 프레임워크는 강화 학습 이론과 연결된다. 에이전트는 실제 환경이 계산 가능하다고 가정하며, 이는 처치-튜링 논제와 일치한다. 비평가들은 계산 가능성 가정과 보편 사전 확률의 사용이 실제 세계 추론의 모든 측면을 포착하지 못할 수 있다고 주장하지만, 이 형식주의는 보편적 지능에 대한 논의의 시금석으로 남아 있다.
영향과 수용
2000년 제안 이후, AIXI는 인공 지능 및 강화 학습의 이론적 연구에 영향을 미쳤다. Hutter의 2005년 저서 Universal Artificial Intelligence는 여전히 표준 참고 자료로 남아 있다. 이 개념은 AGI 안전 및 결정 이론 논의에서 인용되었으며, 변형 및 근사 알고리즘에 영감을 주었다. 그러나 직접 구현 가능성이 부족하여 응용 시스템에서의 사용은 제한적이었다. 그럼에도 불구하고, 이는 AI의 이론적 기초에서 핵심 개념으로 계속되고 있다.