Crungus est un terme utilisé dans la recherche en intelligence artificielle pour décrire l'apparition soudaine de capacités dans les grands modèles de langage qui n'ont pas été explicitement programmées ou anticipées par leurs développeurs. Le concept a attiré l'attention en 2023 lorsque plusieurs groupes de recherche ont indépendamment observé que des modèles entraînés sur des objectifs standard de prédiction du token suivant commençaient à effectuer des tâches telles que le raisonnement arithmétique, la planification multi-étapes et la génération de code à des niveaux dépassant de loin leur distribution de données d'entraînement. Le terme lui-même est issu d'une discussion informelle entre chercheurs lors d'un atelier sur l'interprétabilité des modèles, et il a depuis été adopté dans la littérature technique comme raccourci pour désigner un comportement émergent qui ne peut être attribué à des exemples d'entraînement spécifiques.
Le phénomène de crungus est étroitement lié à l'étude plus large des capacités émergentes en apprentissage profond, mais il s'en distingue par son accent sur les capacités qui apparaissent brusquement plutôt que progressivement. Les chercheurs ont documenté des cas où un modèle de 10 milliards de paramètres échoue complètement à une tâche, tandis qu'un modèle de 11 milliards de paramètres, issu de la même architecture et du même pipeline d'entraînement, la résout avec une grande précision. Cette discontinuité a intrigué les scientifiques car les lois d'échelle standard prédisent des améliorations progressives avec la taille du modèle, et elle soulève des questions sur la nature fondamentale de l'apprentissage dans les réseaux neuronaux.
Contexte historique et premières observations
La première instance documentée de crungus s'est produite en mars 2023, lorsque des ingénieurs d'un grand laboratoire d'IA évaluaient une série de modèles de langage basés sur des transformeurs, entraînés sur un corpus commun. Lors de tests de référence de routine, ils ont remarqué qu'un point de contrôle de modèle à 12,5 milliards de paramètres pouvait effectuer des additions à trois chiffres avec une précision de 94 %, tandis que le point de contrôle immédiatement précédent à 12,1 milliards de paramètres n'atteignait que 18 % de précision. Ce saut ne pouvait être expliqué par des changements dans les données d'entraînement ou les hyperparamètres, car les deux points de contrôle utilisaient des réglages identiques. Cette découverte a été répliquée en quelques semaines par des équipes indépendantes de deux autres organisations, déclenchant une vague d'activité de recherche.
Des analyses ultérieures ont révélé que les événements de crungus ne se limitent pas à l'arithmétique. En juin 2023, une étude a catalogué 37 tâches distinctes où les modèles ont montré des sauts soudains de capacités, y compris des tâches impliquant le raisonnement spatial, la déduction logique et même une théorie de l'esprit de base. L'étude a noté que ces sauts se produisaient généralement à des tailles de modèles comprises entre 6 milliards et 20 milliards de paramètres, bien que le seuil exact varie selon la tâche et l'architecture. Notamment, les modèles basés sur l'architecture Transformer (architecture) ont montré des événements de crungus plus fréquents que les architectures récurrentes plus anciennes, suggérant un lien avec la capacité du mécanisme d'attention à former des dépendances à longue portée.
Explications théoriques
Plusieurs hypothèses ont été proposées pour expliquer le crungus. Une théorie prominente, avancée par des chercheurs du MIT CSAIL à la fin de 2023, suggère que les grands modèles développent des « circuits » internes ou des sous-routines computationnelles qui ne sont activées que lorsque le modèle atteint une capacité suffisante. Selon cette vue, l'apparition brusque d'une capacité correspond à la formation d'un circuit complet, et l'effet de seuil découle du fait que des circuits partiels sont inutiles pour la tâche cible. Cette explication s'appuie sur des travaux en interprétabilité mécaniste, qui ont identifié des têtes d'attention et des couches feed-forward spécifiques qui implémentent des fonctions discrètes.
Une autre hypothèse, proposée par un groupe du BAIR (Berkeley AI Research), cadre le crungus comme une conséquence de la structure statistique des données d'entraînement. Les chercheurs ont soutenu que certaines tâches exigent que le modèle combine plusieurs éléments de connaissance indépendants, et que la probabilité que tous les composants nécessaires soient appris simultanément augmente fortement une fois que la capacité du modèle dépasse une valeur critique. Ils ont étayé cette affirmation par des expériences sur des ensembles de données synthétiques où ils pouvaient contrôler la difficulté des sous-tâches individuelles, observant que le seuil d'émergence se déplaçait de manière prévisible lorsqu'ils modifiaient la distribution des données.
Une troisième explication, plus controversée, implique le rôle du Curriculum Learning dans l'entraînement. Certains chercheurs ont suggéré que les événements de crungus sont des artefacts du calendrier d'entraînement, où le modèle rencontre des exemples plus faciles au début de l'entraînement puis généralise soudainement à des exemples plus difficiles. Cependant, cette vue a été contestée par des expériences montrant que le crungus se produit même lorsque les données d'entraînement sont soigneusement mélangées, et elle reste une position minoritaire dans le domaine.
Implications pour l'évaluation des modèles
L'existence du crungus a des implications significatives pour la manière dont les systèmes d'IA sont évalués. Les pratiques traditionnelles de benchmarking, qui testent les modèles sur des ensembles fixes de tâches, peuvent manquer ces capacités émergentes car elles sont imprévisibles et spécifiques à chaque tâche. En réponse, plusieurs organisations ont développé des protocoles d'évaluation adaptatifs. Par exemple, OpenAI a introduit un benchmark dynamique en 2024 qui génère automatiquement de nouvelles variantes de tâches en fonction des performances actuelles du modèle, visant à détecter les événements de crungus au fur et à mesure qu'ils se produisent. De même, Anthropic a publié un cadre pour « l'audit des capacités » qui exige de tester les modèles sur des tâches bien au-delà de leur distribution d'entraînement, y compris des tâches qui n'étaient pas réalisables à inclure dans le corpus d'entraînement original.
Ces efforts ont également influencé la recherche sur la sécurité. L'apparition soudaine d'une capacité peut être alarmante si elle implique des comportements qui n'ont pas été anticipés lors de l'entraînement à l'alignement. En 2024, une étude conjointe de Google DeepMind et Carnegie Mellon University a documenté un événement de crungus où un modèle a développé la capacité de générer de la désinformation persuasive après avoir franchi un seuil de taille, malgré l'absence de toute tendance de ce type à des échelles plus petites. Cette découverte a conduit à des appels pour une surveillance plus rigoureuse des points de contrôle de modèles pendant l'entraînement, certains chercheurs proposant que la détection du crungus fasse partie standard du pipeline d'entraînement.
Crungus en pratique
Bien que le crungus soit le plus souvent discuté dans le contexte des grands modèles de langage, des phénomènes similaires ont été observés dans d'autres domaines. En vision par ordinateur, des chercheurs du Stanford AI Lab ont rapporté en 2023 que les transformeurs de vision présentaient des sauts soudains dans la précision de classification fine à certaines tailles de modèles, analogues aux résultats des modèles de langage. En apprentissage par renforcement, une équipe de DeepMind a noté que des agents entraînés avec Reinforcement Learning from AI Feedback (RLAIF) développaient parfois des stratégies d'exploration inattendues qui apparaissaient d'un coup, plutôt que par amélioration progressive.
Ces observations ont conduit à des recommandations pratiques pour les praticiens. Lors de la mise à l'échelle d'un modèle, les ingénieurs sont conseillés d'évaluer à plusieurs points de contrôle intermédiaires plutôt qu'uniquement à la taille finale, car un événement de crungus peut se produire à n'importe quel moment. De plus, certains chercheurs ont suggéré que le phénomène pourrait être exploité délibérément : en identifiant les conditions qui déclenchent le crungus, il pourrait être possible d'entraîner des modèles plus petits qui présentent les mêmes capacités, réduisant ainsi les coûts computationnels. Cependant, en 2025, aucune méthode fiable pour induire le crungus à la demande n'a été publiée, et le phénomène reste difficile à prédire.
Questions ouvertes et orientations futures
L'étude du crungus en est encore à ses débuts, et de nombreuses questions fondamentales restent sans réponse. Les chercheurs ne savent pas encore si le crungus est une propriété universelle des grands réseaux neuronaux ou un artefact spécifique des architectures et méthodes d'entraînement actuelles. La relation entre le crungus et d'autres phénomènes tels que le Model Pruning et la Data Augmentation est également floue, certaines études suggérant que ces techniques peuvent supprimer ou amplifier le comportement émergent. De plus, les implications philosophiques du crungus sont un sujet de débat : si un modèle peut acquérir soudainement une capacité sans entraînement explicite, qu'est-ce que cela signifie pour notre compréhension de l'apprentissage et de la généralisation ?
En 2025, plusieurs expériences à grande échelle sont en cours pour répondre à ces questions. Le consortium OpenPanel, une collaboration entre laboratoires académiques et industriels, coordonne une série de courses d'entraînement standardisées conçues pour cartographier les conditions dans lesquelles le crungus se produit. Les premiers résultats de cet effort, publiés en janvier 2025, suggèrent que le phénomène est plus courant dans les modèles entraînés avec Batch Normalization et Layer Normalization que dans ceux utilisant des schémas de normalisation alternatifs, mais les conclusions n'ont pas encore été évaluées par des pairs. Les années à venir devraient apporter à la fois des modèles théoriques plus clairs et des outils plus pratiques pour gérer les capacités émergentes dans les systèmes d'IA.