AlphaTensor est un système d'intelligence artificielle développé par DeepMind pour découvrir des algorithmes efficaces de multiplication matricielle grâce à l'apprentissage par renforcement. Introduit en 2022, le système était basé sur AlphaZero et formulait la recherche d'algorithmes de multiplication matricielle comme un jeu à un seul joueur appelé TensorGame.
AlphaTensor a été conçu pour rechercher de nouvelles façons de multiplier des matrices avec moins d'opérations de multiplication scalaire. La multiplication matricielle est une opération fondamentale en algèbre linéaire, en analyse numérique, en calcul scientifique, en infographie et en apprentissage automatique. Le système a découvert des milliers d'algorithmes de multiplication matricielle, y compris des algorithmes qui ont redécouvert des méthodes connues conçues par l'homme et d'autres qui ont amélioré des résultats précédemment connus pour des tailles de matrices et des contextes mathématiques particuliers.
Contexte
La multiplication matricielle est l'une des opérations de base en calcul numérique. L'algorithme standard pour multiplier deux matrices carrées a une complexité temporelle cubique, tandis que des algorithmes plus rapides comme l'algorithme de Strassen réduisent le nombre d'opérations de multiplication en utilisant des décompositions algébriques plus complexes. Trouver des algorithmes optimaux de multiplication matricielle peut être difficile car cela implique de rechercher dans un grand espace de décompositions tensorielles possibles.
AlphaTensor a abordé ce problème en représentant la découverte d'algorithmes comme TensorGame, où chaque mouvement correspond à une opération qui réduit un tenseur représentant la multiplication matricielle. Le but du jeu est de trouver une décomposition de rang faible du tenseur de multiplication matricielle, correspondant à un algorithme de multiplication efficace.
Développement
AlphaTensor a été développé par DeepMind et décrit dans un article publié dans Nature en octobre 2022. Le système s'appuyait sur l'approche d'apprentissage par renforcement utilisée dans AlphaZero, qui avait précédemment été appliquée à des jeux comme le go, les échecs et le shogi. Contrairement à ces jeux, TensorGame impliquait un très grand espace de recherche, nécessitant des modifications de la méthode de recherche de style AlphaZero et de l'architecture de réseau neuronal.
DeepMind a publié le code source et les algorithmes découverts associés à la publication via un dépôt public GitHub.
Résultats
AlphaTensor a découvert des algorithmes de multiplication matricielle à la fois sur l'arithmétique standard et sur les corps finis. Un résultat largement rapporté était une méthode pour multiplier des matrices 4 × 4 sur le corps à deux éléments en utilisant 47 opérations de multiplication, améliorant les 49 opérations requises en appliquant l'algorithme de Strassen de manière récursive dans ce contexte.
Le système a également trouvé des algorithmes optimisés pour du matériel informatique particulier, y compris des algorithmes conçus pour les unités de traitement graphique et les unités de traitement tensoriel. DeepMind a déclaré que certains des algorithmes spécifiques au matériel amélioraient le temps d'exécution pratique par rapport aux algorithmes couramment utilisés sur le matériel testé.
Importance
AlphaTensor a été décrit comme un exemple d'utilisation de l'apprentissage automatique non seulement pour appliquer des algorithmes existants, mais aussi pour aider à en découvrir de nouveaux. Le travail était lié à des recherches plus larges sur la découverte d'algorithmes, l'apprentissage automatique automatisé, la synthèse de programmes et la théorie de la complexité computationnelle, en particulier le problème ouvert de déterminer la complexité optimale de la multiplication matricielle.
AlphaTensor est ensuite devenu partie d'un groupe plus large de systèmes de Google DeepMind pour la découverte d'algorithmes et de mathématiques, aux côtés de systèmes comme AlphaDev et AlphaEvolve.
Voir aussi
Références
- DeepMind, 'AlphaTensor', 2022.
- Article Nature, octobre 2022.
Liens externes
- Site officiel
- alphatensor sur GitHub