AIXI est un formalisme mathématique théorique pour l'intelligence artificielle générale qui combine l'induction de Solomonoff avec la théorie de la décision séquentielle. Proposé pour la première fois par Marcus Hutter en 2000, il a été développé dans son livre de 2005 Universal Artificial Intelligence. AIXI est un agent d'apprentissage par renforcement qui vise à maximiser les récompenses totales attendues en considérant chaque hypothèse calculable sur son environnement, pondérée par la complexité algorithmique selon le rasoir d'Occam.
Le formalisme définit un agent idéal qui, à chaque pas de temps, évalue tous les programmes possibles sur une machine de Turing universelle pour prédire les percepts et récompenses futurs, puis sélectionne l'action avec la somme attendue la plus élevée des récompenses futures. Parce qu'il est incalculable en pratique, AIXI sert principalement de référence théorique pour la prise de décision séquentielle optimale plutôt que d'algorithme directement implémentable.
Étymologie
Selon Hutter, le nom « AIXI » a plusieurs interprétations. Il peut signifier « IA basée sur la distribution de Solomonoff », où la lettre grecque xi (ξ) désigne le prior de Solomonoff. Alternativement, il peut être lu comme « IA » croisée (X) avec l'induction (I), symbolisant le croisement de l'intelligence artificielle avec l'inférence inductive. D'autres interprétations existent, mais ces deux-là sont les plus couramment citées dans la littérature.
Définition formelle
AIXI interagit avec un environnement μ inconnu mais calculable sur une durée de vie finie m. À chaque pas de temps t, l'agent choisit une action a_t dans un ensemble 𝒜 et reçoit un percept e_t = (o_t, r_t) de l'environnement, où o_t est une observation et r_t une récompense. L'environnement est modélisé comme une distribution de probabilité μ sur les percepts conditionnée par l'historique complet des actions et percepts, donc aucune hypothèse de Markov n'est faite. L'environnement est calculable : ses réponses peuvent être simulées par un programme exécuté sur une machine de Turing.
Le but de l'agent est de maximiser la récompense totale ∑_{t=1}^{m} r_t. Au temps t, AIXI sélectionne l'action a_t qui maximise l'expression :
a_t := arg max_{a_t} ( ∑_{o_t r_t} ... max_{a_m} ∑_{o_m r_m} [r_t + ... + r_m] ∑_{q : U(q, a_1...a_m) = o_1 r_1...o_m r_m} 2^{-length(q)} )
Ici, U est une machine de Turing universelle monotone, et q parcourt tous les programmes déterministes qui, étant donné la séquence d'actions complète, produisent la séquence de percepts. Le poids 2^{-length(q)} encode un prior de simplicité : les programmes plus courts sont considérés comme plus probables. Intuitivement, AIXI considère chaque environnement calculable cohérent avec son passé, les pondère par leur complexité, et choisit l'action qui maximise la récompense future totale attendue.
Paramètres
Les paramètres clés sont la machine de Turing universelle U et la durée de vie de l'agent m. Le paramètre de durée de vie peut être supprimé en introduisant un facteur d'escompte, comme discuté par Hutter. Le choix de U affecte la pondération précise des environnements mais pas les propriétés d'optimalité essentielles.
Propriétés d'optimalité
Il a été prouvé qu'AIXI satisfait plusieurs critères d'optimalité forts. Il est Pareto optimal : aucun autre agent ne performe au moins aussi bien dans tous les environnements et strictement mieux dans au moins un. Il est également Pareto optimal équilibré, ce qui étend la notion aux sommes pondérées d'environnements. De plus, AIXI est auto-optimisant pour certaines classes d'environnements : lorsque la durée de vie de l'agent tend vers l'infini, sa performance approche le maximum théorique pour ces environnements. Ces résultats établissent AIXI comme une borne supérieure théorique pour les agents d'apprentissage par renforcement.
Relation avec d'autres approches d'IA
AIXI diffère des méthodes pratiques de apprentissage automatique, telles que le apprentissage profond et les grands modèles de langage, qui reposent sur des données finies et une inférence approximative. Alors que ces méthodes utilisent des réseaux de neurones et des architectures transformers pour généraliser à partir d'exemples, AIXI suppose un calcul illimité et une inférence bayésienne exacte sur tous les environnements calculables. Il fournit un idéal formel que les systèmes pratiques approchent mais ne peuvent pas pleinement atteindre.
Le formalisme est étroitement lié à la recherche sur l'AGI, car il vise à capturer l'intelligence universelle plutôt que la performance spécifique à une tâche. Cependant, son incalculabilité en fait un guide théorique plutôt qu'un modèle d'ingénierie. Les chercheurs utilisent souvent AIXI comme fondement conceptuel pour développer des algorithmes plus pratiques qui approchent sa règle de décision sous des contraintes de ressources.
Défis computationnels
La définition d'AIXI implique des sommes et maximisations sur tous les programmes et tous les futurs possibles, ce qui est incalculable en général. La quantification universelle sur les programmes rend le problème de décision de l'agent indécidable, car il nécessite de résoudre le problème de l'arrêt pour des programmes arbitraires. Hutter a noté que même des versions simplifiées sont intraitables, et un effort significatif a été consacré à trouver des approximations calculables, comme AIXItl, qui limite la longueur des programmes et l'horizon temporel.
Implications philosophiques
AIXI incarne une réponse formelle à la question de ce qu'un agent parfaitement rationnel devrait faire face à un environnement inconnu. Son recours à l'induction de Solomonoff formalise le rasoir d'Occam, et son cadre décisionnel se connecte à la théorie de l'apprentissage par renforcement. L'agent suppose que le véritable environnement est calculable, ce qui s'aligne avec la thèse de Church-Turing. Les critiques soutiennent que l'hypothèse de calculabilité et l'utilisation d'un prior universel peuvent ne pas capturer tous les aspects du raisonnement dans le monde réel, mais le formalisme reste une référence pour les discussions sur l'intelligence universelle.
Impact et réception
Depuis sa proposition en 2000, AIXI a influencé la recherche théorique en intelligence artificielle et en apprentissage par renforcement. Le livre de Hutter de 2005 Universal Artificial Intelligence reste une référence standard. Le concept a été cité dans les discussions sur la sécurité de l'AGI et la théorie de la décision, et il a inspiré des variantes et approximations. Cependant, son manque d'implémentabilité directe a limité son utilisation dans les systèmes appliqués. Néanmoins, il continue d'être un concept clé dans les fondements théoriques de l'IA.