La loi de Moore est l'observation, faite par le cofondateur d'Intel Gordon Moore en 1965, selon laquelle le nombre de transistors sur un circuit intégré double environ tous les deux ans, une règle empirique qui s'est vérifiée avec une constance remarquable pendant plus de quatre décennies et est devenue une abréviation générale pour la croissance exponentielle de la puissance de calcul. En intelligence artificielle, la « loi de Moore » est souvent invoquée de manière approximative pour décrire une tendance connexe mais distincte : la croissance rapide de la puissance de calcul appliquée à l'entraînement et à l'exécution des modèles d'IA, qui a parfois évolué encore plus vite que la réduction classique des transistors.
La loi de Moore traditionnelle sur la densité des transistors a commencé à ralentir considérablement dans les années 2010, les fabricants de puces approchant des limites physiques de la miniaturisation, ce qui a incité l'industrie des semi-conducteurs à s'appuyer davantage sur des architectures spécialisées, l'empilement de puces et des matrices plus grandes plutôt que sur de simples gains de densité.
Montée en puissance du calcul en IA
Une analyse de 2018 largement citée d'OpenAI, « AI and Compute », a constaté que la quantité de calcul utilisée dans les plus grands entraînements d'IA avait doublé environ tous les 3,4 mois entre 2012 et 2018, dépassant de loin le doublement classique sur deux ans de la loi de Moore, en raison de la volonté croissante des chercheurs de dépenser pour des entraînements plus importants plutôt que des seules améliorations des puces. Cette croissance du calcul sous-tend les lois d'échelle empiriques décrivant comment les performances des modèles s'améliorent de manière prévisible lorsque les paramètres, les données et le calcul augmentent ensemble.
Matériel derrière la courbe
Les GPU à usage général, initialement conçus pour le rendu graphique, sont devenus le matériel dominant pour l'entraînement en IA, car leur architecture parallèle convient aux multiplications matricielles au cœur des réseaux de neurones. La plateforme logicielle CUDA de Nvidia, lancée en 2006, lui a donné un avantage durable une fois que l'apprentissage profond a décollé après le résultat AlexNet de 2012. Les accélérateurs TPU personnalisés de Google, déployés pour la première fois en 2016, ont offert une voie alternative optimisée spécifiquement pour les charges de travail des réseaux de neurones et ont été utilisés pour entraîner des modèles tels que Gemini. Le PDG de Nvidia, Jensen Huang, a soutenu que les gains combinés matériel et logiciel dans le calcul de l'IA dépassent désormais la loi de Moore historique, une affirmation centrale dans l'ascension de Nvidia vers l'une des entreprises les plus valorisées au monde au milieu des années 2020.
Limites et contestations
La consommation d'énergie croissante, les coûts de fabrication des puces et la construction de centres de données sont devenus des contraintes contraignantes distinctes de la densité des transistors elle-même. Des événements tels que le choc DeepSeek de janvier 2025, où un modèle compétitif aurait été entraîné bien moins cher que prévu, ont relancé le débat sur la question de savoir si la montée en puissance du calcul brut est la seule voie vers une meilleure IA, avec des techniques comme mixture d'experts et la quantification proposées comme moyens d'extraire plus de capacité par unité de calcul plutôt que de simplement dépenser plus de calcul.