La machine de Gödel est une architecture d'intelligence artificielle théorique conçue pour atteindre une auto-amélioration optimale. C'est un système autoréférentiel qui peut modifier son propre code source, mais il ne le fait qu'après avoir formellement prouvé que la modification proposée augmentera son utilité attendue. Le concept a été introduit par l'informaticien Jürgen Schmidhuber en 2003 et porte le nom de Kurt Gödel, dont les théorèmes d'incomplétude ont inspiré l'utilisation de preuves autoréférentielles par la machine.
Contrairement aux systèmes d'apprentissage automatique conventionnels qui sont entraînés par des développeurs externes, la machine de Gödel fonctionne comme un chercheur de preuves. Elle recherche en continu des preuves qu'une réécriture de son propre code mènera à de meilleures performances selon une fonction d'utilité prédéfinie. Si une preuve est trouvée, la machine exécute la réécriture, s'améliorant ainsi d'une manière garantie comme bénéfique, en supposant que la preuve est correcte. Cette approche combine des éléments d'intelligence artificielle, de logique formelle et de apprentissage automatique, mais elle se distingue des méthodes typiques de apprentissage profond qui reposent sur l'optimisation par gradient.
Cadre formel
Le cœur de la machine de Gödel est un système axiomatique formel qui décrit son propre fonctionnement. L'état de la machine comprend son code actuel, la fonction d'utilité et un chercheur de preuves. Le chercheur de preuves examine les preuves possibles dans le système formel, cherchant des théorèmes de la forme : « Si la machine exécute une réécriture particulière, alors l'utilité attendue augmentera. » La fonction d'utilité est généralement définie sur les états futurs, incorporant un facteur d'actualisation temporelle pour prioriser les améliorations à court terme.
Une caractéristique clé est l'utilisation d'un système de preuve autoréférentiel, qui permet à la machine de raisonner sur son propre comportement futur. Cela est analogue à la construction par Gödel d'énoncés autoréférentiels en arithmétique. La machine peut prouver des énoncés sur les conséquences de ses propres actions, y compris l'acte de se réécrire elle-même. Cette autoréférence est ce qui permet une auto-modification bénéfique prouvable, car la machine peut vérifier qu'un changement ne mènera pas à une diminution de l'utilité.
Comparaison avec d'autres approches d'IA
La machine de Gödel diffère fondamentalement des systèmes basés sur les réseaux de neurones tels que les modèles transformeurs utilisés dans les grands modèles de langage. Alors qu'un réseau de neurones apprend en ajustant les poids par le biais de variantes de descente de gradient stochastique et de fonctions de perte, la machine de Gödel apprend en modifiant sa propre structure algorithmique. Elle ne repose pas sur la rétropropagation ni sur le plafonnement du gradient ; elle utilise plutôt la recherche de preuves formelles. Cela la rend plus similaire au théorème de preuve automatisé classique qu'aux systèmes modernes de IA générative.
Une autre distinction réside dans la nature de l'amélioration. Dans l'apprentissage profond, les améliorations sont empiriques et manquent souvent de garanties formelles. La machine de Gödel, en revanche, fournit une garantie mathématique que chaque auto-modification augmente l'utilité, à condition que les axiomes sous-jacents soient cohérents. C'est une forme de sécurité plus forte, mais elle a un coût computationnel élevé, car la recherche de preuves est généralement intraitable pour des systèmes complexes.
Importance théorique et limites
La machine de Gödel est principalement une construction théorique, pas une implémentation pratique. Aucune machine de Gödel complète n'a été construite, car la recherche de preuves sur toutes les réécritures possibles est computationnellement infaisable pour toute fonction d'utilité non triviale. Cependant, elle a influencé la recherche sur la sécurité de l'intelligence artificielle et les systèmes auto-améliorants. L'idée d'une auto-modification bénéfique prouvable est pertinente pour les discussions sur l'alignement de l'IA et les risques d'une auto-amélioration récursive incontrôlée.
Une limite est la dépendance à un système formel cohérent. Si les axiomes sont incohérents, la machine pourrait prouver des énoncés faux et effectuer des réécritures nuisibles. De plus, la fonction d'utilité doit être spécifiée avec soin ; une utilité mal définie pourrait entraîner des conséquences imprévues, même avec des preuves correctes. La machine de Gödel suppose également que le chercheur de preuves peut trouver des preuves pertinentes dans un délai raisonnable, ce qui n'est pas garanti pour des environnements complexes.
Concepts connexes et influence
La machine de Gödel est liée à d'autres propositions d'IA auto-améliorante, comme les travaux antérieurs de Schmidhuber sur le « résolveur de problèmes ordonné optimal » et le concept de systèmes « autoréférentiels » en informatique. Elle se connecte également au domaine plus large du apprentissage automatique en ce sens qu'elle vise à automatiser le processus d'apprentissage, mais par le raisonnement symbolique plutôt que par l'optimisation statistique. Des chercheurs d'institutions comme le CSAIL du MIT et le laboratoire d'IA de Stanford ont exploré des idées similaires dans le contexte de la sécurité de l'IA, bien que la machine de Gödel reste un sujet de niche.
Le nom et le concept de la machine ont été discutés dans le contexte des ordinateurs d'échecs et de l'IA de jeu, où l'auto-amélioration est une caractéristique souhaitable. Cependant, les systèmes pratiques comme Waymo ou Tesla Autopilot n'utilisent pas les principes de la machine de Gödel ; ils reposent sur l'apprentissage profond et l'apprentissage par renforcement à la place. La machine de Gödel est davantage un repère philosophique et mathématique pour ce à quoi pourrait ressembler une auto-amélioration idéale.
Conclusion
En résumé, la machine de Gödel est un cadre théorique pour une IA qui peut s'améliorer de manière prouvable. Elle se distingue des méthodes empiriques comme l'entraînement des réseaux de neurones, offrant des garanties formelles au prix d'une praticabilité computationnelle. Bien qu'elle ne soit pas implémentée, elle reste une expérience de pensée importante dans l'étude de l'intelligence artificielle et des systèmes auto-modifiants, inspirant des recherches en cours sur le développement sûr et vérifiable de l'IA.
Références
- Schmidhuber, J. (2003). « Gödel Machines: Fully Self-Referential Optimal Universal Self-Improvers. » In Artificial General Intelligence.
- Travaux connexes sur les systèmes autoréférentiels en informatique et en logique.