AIXI ist ein theoretisches mathematisches Formalismus für künstliche allgemeine Intelligenz, der Solomonoff-Induktion mit sequentieller Entscheidungstheorie kombiniert. Erstmals vorgeschlagen von Marcus Hutter im Jahr 2000, wurde er in seinem 2005 erschienenen Buch Universal Artificial Intelligence ausführlich dargestellt. AIXI ist ein Verstärkungslern-Agent, der darauf abzielt, den erwarteten Gesamtbelohnungswert zu maximieren, indem er jede berechenbare Hypothese über seine Umgebung berücksichtigt, gewichtet nach algorithmischer Komplexität gemäß Ockhams Rasiermesser.
Der Formalismus definiert einen idealen Agenten, der zu jedem Zeitschritt alle möglichen Programme auf einer universellen Turingmaschine auswertet, um zukünftige Wahrnehmungen und Belohnungen vorherzusagen, und dann die Aktion mit dem höchsten erwarteten Summenwert zukünftiger Belohnungen auswählt. Da er in der Praxis nicht berechenbar ist, dient AIXI hauptsächlich als theoretischer Maßstab für optimale sequentielle Entscheidungsfindung und nicht als direkt implementierbarer Algorithmus.
Etymologie
Laut Hutter hat der Name 'AIXI' mehrere Interpretationen. Er kann für 'AI basierend auf Solomonoffs Verteilung' stehen, wobei der griechische Buchstabe xi (ξ) den Solomonoff-Prior bezeichnet. Alternativ kann er als 'AI' gekreuzt (X) mit Induktion (I) gelesen werden, was die Kreuzung von künstlicher Intelligenz mit induktiver Inferenz symbolisiert. Es gibt weitere Interpretationen, aber diese beiden werden in der Literatur am häufigsten zitiert.
Formale Definition
AIXI interagiert mit einer unbekannten, aber berechenbaren Umgebung μ über eine endliche Lebensdauer m. Zu jedem Zeitschritt t wählt der Agent eine Aktion a_t aus einer Menge 𝒜 und erhält eine Wahrnehmung e_t = (o_t, r_t) von der Umgebung, wobei o_t eine Beobachtung und r_t eine Belohnung ist. Die Umgebung wird als Wahrscheinlichkeitsverteilung μ über Wahrnehmungen modelliert, konditioniert auf die vollständige Historie von Aktionen und Wahrnehmungen, sodass keine Markov-Annahme gemacht wird. Die Umgebung ist berechenbar: Ihre Antworten können durch ein Programm simuliert werden, das auf einer Turingmaschine läuft.
Das Ziel des Agenten ist es, die Gesamtbelohnung ∑_{t=1}^{m} r_t zu maximieren. Zum Zeitpunkt t wählt AIXI die Aktion a_t, die den folgenden Ausdruck maximiert:
at := arg max_at ( ∑_{o_t r_t} ... max_{a_m} ∑_{o_m r_m} [r_t + ... + r_m] ∑_{q: U(q, a_1...a_m) = o_1 r_1...o_m r_m} 2^{-length(q)} )
Hierbei ist U eine monotone universelle Turingmaschine, und q reicht über alle deterministischen Programme, die bei gegebener vollständiger Aktionssequenz die Wahrnehmungssequenz erzeugen. Das Gewicht 2^{-length(q)} kodiert einen Einfachheits-Prior: Kürzere Programme werden als wahrscheinlicher angesehen. Intuitiv betrachtet AIXI jede berechenbare Umgebung, die mit seiner Vergangenheit konsistent ist, gewichtet jede nach ihrer Komplexität und wählt die Aktion, die den erwarteten Gesamtwert zukünftiger Belohnungen maximiert.
Parameter
Die wichtigsten Parameter sind die universelle Turingmaschine U und die Lebensdauer m des Agenten. Der Lebensdauerparameter kann durch Einführung eines Diskontierungsfaktors entfernt werden, wie von Hutter diskutiert. Die Wahl von U beeinflusst die genaue Gewichtung der Umgebungen, aber nicht die wesentlichen Optimalitätseigenschaften.
Optimalitätseigenschaften
Es wurde bewiesen, dass AIXI mehrere starke Optimalitätskriterien erfüllt. Es ist Pareto-optimal: Kein anderer Agent schneidet in allen Umgebungen mindestens so gut und in mindestens einer Umgebung strikt besser ab. Es ist auch balanciert Pareto-optimal, was das Konzept auf gewichtete Summen von Umgebungen erweitert. Darüber hinaus ist AIXI für bestimmte Klassen von Umgebungen selbstoptimierend: Wenn die Lebensdauer des Agenten gegen unendlich geht, nähert sich seine Leistung dem theoretischen Maximum für diese Umgebungen. Diese Ergebnisse etablieren AIXI als theoretische Obergrenze für Verstärkungslern-Agenten.
Beziehung zu anderen KI-Ansätzen
AIXI unterscheidet sich von praktischen maschinellen Lern-Methoden wie Deep Learning und großen Sprachmodellen, die auf endlichen Daten und approximativer Inferenz beruhen. Während diese Methoden neuronale Netze und Transformer-Architekturen verwenden, um aus Beispielen zu generalisieren, nimmt AIXI unbegrenzte Berechnung und exakte Bayes'sche Inferenz über alle berechenbaren Umgebungen an. Es bietet ein formales Ideal, das praktische Systeme annähern, aber nicht vollständig erreichen können.
Der Formalismus ist eng mit der AGI-Forschung verbunden, da er darauf abzielt, universelle Intelligenz zu erfassen und nicht aufgabenspezifische Leistung. Seine Unberechenbarkeit macht ihn jedoch zu einem theoretischen Leitfaden und nicht zu einem technischen Bauplan. Forscher verwenden AIXI oft als konzeptionelle Grundlage für die Entwicklung praktischerer Algorithmen, die seine Entscheidungsregel unter Ressourcenbeschränkungen annähern.
Rechnerische Herausforderungen
Die Definition von AIXI beinhaltet Summen und Maximierungen über alle Programme und alle möglichen Zukünfte, was im Allgemeinen unberechenbar ist. Die universelle Quantifizierung über Programme macht das Entscheidungsproblem des Agenten unentscheidbar, da es die Lösung des Halteproblems für beliebige Programme erfordert. Hutter hat angemerkt, dass selbst vereinfachte Versionen unlösbar sind, und es wurde erhebliche Anstrengung in die Suche nach berechenbaren Näherungen investiert, wie zum Beispiel AIXItl, das Programmlänge und Zeithorizont begrenzt.
Philosophische Implikationen
AIXI verkörpert eine formale Antwort auf die Frage, was ein perfekt rationaler Agent tun sollte, wenn er einer unbekannten Umgebung gegenübersteht. Seine Abhängigkeit von der Solomonoff-Induktion formalisiert Ockhams Rasiermesser, und sein entscheidungstheoretischer Rahmen verbindet sich mit der Verstärkungslern-Theorie. Der Agent nimmt an, dass die wahre Umgebung berechenbar ist, was mit der Church-Turing-These übereinstimmt. Kritiker argumentieren, dass die Annahme der Berechenbarkeit und die Verwendung eines universellen Priors möglicherweise nicht alle Aspekte realer Argumentation erfassen, aber der Formalismus bleibt ein Bezugspunkt für Diskussionen über universelle Intelligenz.
Einfluss und Rezeption
Seit seinem Vorschlag im Jahr 2000 hat AIXI die theoretische Forschung in künstlicher Intelligenz und Verstärkungslernen beeinflusst. Hutters Buch Universal Artificial Intelligence von 2005 bleibt eine Standardreferenz. Das Konzept wurde in Diskussionen über AGI-Sicherheit und Entscheidungstheorie zitiert und hat Varianten und Näherungen inspiriert. Seine fehlende direkte Implementierbarkeit hat jedoch seine Verwendung in angewandten Systemen eingeschränkt. Dennoch bleibt es ein Schlüsselkonzept in den theoretischen Grundlagen der KI.