La machine de Gödel est une architecture d'intelligence artificielle théorique conçue pour atteindre une auto-amélioration optimale. C'est un système auto-référentiel qui peut modifier son propre code source, mais il ne le fait qu'après avoir formellement prouvé que la modification proposée augmentera son utilité attendue. Le concept a été introduit par l'informaticien Jürgen Schmidhuber en 2003 et porte le nom de Kurt Gödel, dont les théorèmes d'incomplétude ont inspiré l'utilisation de preuves auto-référentielles dans la machine.
Contrairement aux systèmes d'apprentissage automatique conventionnels qui sont entraînés par des développeurs externes, la machine de Gödel fonctionne comme un chercheur de preuves. Elle recherche en continu des preuves qu'une réécriture de son propre code mènera à de meilleures performances selon une fonction d'utilité prédéfinie. Si une preuve est trouvée, la machine exécute la réécriture, s'améliorant ainsi d'une manière garantie comme bénéfique, en supposant que la preuve est correcte. Cette approche combine des éléments de intelligence artificielle, de logique formelle et de apprentissage automatique, mais elle se distingue des méthodes typiques de apprentissage profond qui reposent sur l'optimisation par gradient.
Cadre formel
Le cœur de la machine de Gödel est un système axiomatique formel qui décrit son propre fonctionnement. L'état de la machine comprend son code actuel, la fonction d'utilité et un chercheur de preuves. Le chercheur de preuves examine les preuves possibles dans le système formel, cherchant des théorèmes de la forme : « Si la machine exécute une réécriture particulière, alors l'utilité attendue augmentera. » La fonction d'utilité est généralement définie sur les états futurs, intégrant un facteur d'actualisation temporelle pour prioriser les améliorations à court terme.
Une caractéristique clé est l'utilisation d'un système de preuve auto-référentiel, qui permet à la machine de raisonner sur son propre comportement futur. Cela est analogue à la construction par Gödel de déclarations auto-référentielles en arithmétique. La machine peut prouver des déclarations sur les conséquences de ses propres actions, y compris l'acte de se réécrire elle-même. Cette auto-référence est ce qui permet une auto-modification bénéfique prouvable, car la machine peut vérifier qu'un changement ne mènera pas à une diminution de l'utilité.
Comparaison avec d'autres approches d'IA
La machine de Gödel diffère fondamentalement des systèmes basés sur réseaux de neurones tels que les modèles transformers utilisés dans les modèles de langage de grande taille. Alors qu'un réseau de neurones apprend en ajustant les poids via variantes de descente de gradient stochastique et fonctions de perte, la machine de Gödel apprend en modifiant sa propre structure algorithmique. Elle ne repose pas sur rétropropagation ni écrêtage de gradient ; elle utilise plutôt la recherche de preuves formelles. Cela la rend plus similaire au théorème de démonstration automatique classique qu'aux systèmes modernes de IA générative.
Une autre distinction réside dans la nature de l'amélioration. Dans le apprentissage profond, les améliorations sont empiriques et manquent souvent de garanties formelles. La machine de Gödel, en revanche, fournit une garantie mathématique que chaque auto-modification augmente l'utilité, à condition que les axiomes sous-jacents soient cohérents. C'est une forme de sécurité plus forte, mais elle a un coût computationnel élevé, car la recherche de preuves est généralement intraitable pour des systèmes complexes.
Signification théorique et limites
La machine de Gödel est principalement un concept théorique, pas une implémentation pratique. Aucune machine de Gödel complète n'a été construite, car la recherche de preuves sur toutes les réécritures possibles est computationnellement infaisable pour toute fonction d'utilité non triviale. Cependant, elle a influencé la recherche sur la sécurité de l'intelligence artificielle et les systèmes auto-améliorants. L'idée d'une auto-modification bénéfique prouvable est pertinente pour les discussions sur alignement de l'IA et les risques d'auto-amélioration récursive incontrôlée.
Une limite est la dépendance à un système formel cohérent. Si les axiomes sont incohérents, la machine pourrait prouver des déclarations fausses et effectuer des réécritures nuisibles. De plus, la fonction d'utilité doit être soigneusement spécifiée ; une utilité mal définie pourrait entraîner des conséquences imprévues, même avec des preuves correctes. La machine de Gödel suppose également que le chercheur de preuves peut trouver des preuves pertinentes en un temps raisonnable, ce qui n'est pas garanti pour des environnements complexes.
Concepts connexes et influence
La machine de Gödel est liée à d'autres propositions d'IA auto-améliorante, comme les travaux antérieurs de Schmidhuber sur le « solveur de problèmes ordonné optimal » et le concept de systèmes « auto-référentiels » en informatique. Elle se connecte également au domaine plus large du apprentissage automatique en ce qu'elle vise à automatiser le processus d'apprentissage, mais par le raisonnement symbolique plutôt que par l'optimisation statistique. Des chercheurs d'institutions comme le laboratoire d'informatique et d'intelligence artificielle du MIT et le laboratoire d'IA de Stanford ont exploré des idées similaires dans le contexte de la sécurité de l'IA, bien que la machine de Gödel reste un sujet de niche.
Le nom et le concept de la machine ont été discutés dans le contexte de l'ordinateur d'échecs et de l'IA de jeu, où l'auto-amélioration est une caractéristique souhaitable. Cependant, des systèmes pratiques comme Waymo ou le pilote automatique de Tesla n'utilisent pas les principes de la machine de Gödel ; ils reposent sur le apprentissage profond et le apprentissage par renforcement à la place. La machine de Gödel est davantage une référence philosophique et mathématique pour ce à quoi pourrait ressembler une auto-amélioration idéale.
Conclusion
En résumé, la machine de Gödel est un cadre théorique pour une IA qui peut s'améliorer de manière prouvable. Elle contraste avec les méthodes empiriques comme l'entraînement de réseaux de neurones, offrant des garanties formelles au prix de la praticabilité computationnelle. Bien qu'elle ne soit pas implémentée, elle reste une expérience de pensée importante dans l'étude de l'intelligence artificielle et des systèmes auto-modifiants, inspirant des recherches continues sur le développement sûr et vérifiable de l'IA.
Références
- Schmidhuber, J. (2003). « Gödel Machines: Fully Self-Referential Optimal Universal Self-Improvers. » Dans Artificial General Intelligence.
- Travaux connexes sur les systèmes auto-référentiels en informatique et en logique.