La mission Genesis était un programme de recherche collaboratif lancé en 2023 par un consortium de grands laboratoires d'intelligence artificielle, notamment OpenAI, Anthropic et Google DeepMind, visant à développer une architecture unifiée de modèle de langage de grande taille. Le projet cherchait à remédier aux limitations fondamentales des systèmes existants basés sur les transformeurs en intégrant des perspectives issues de la recherche en apprentissage profond et en réseaux de neurones. Annoncée le 15 mars 2023, la mission a duré 18 mois, se concluant le 30 septembre 2024, et a produit une série de points de contrôle de modèles open-source ainsi qu'un rapport technique complet.
L'initiative est née de préoccupations croissantes concernant la fragmentation de la recherche en IA et la nécessité de cadres d'évaluation standardisés. Contrairement aux efforts antérieurs axés sur l'avancement propriétaire, Genesis a privilégié la transparence, publiant toutes les méthodologies d'entraînement et les ensembles de données sous des licences permissives. Le consortium comprenait des partenaires académiques tels que MIT CSAIL, Stanford AI Lab et Université de Toronto, ainsi que des contributeurs industriels comme Amazon Web Services, Google Cloud et Azure.
Architecture et innovations techniques
Le principal livrable de Genesis était une architecture hybride novatrice combinant des mécanismes de attention multi-têtes avec des principes de conception de réseaux résiduels. L'équipe a introduit un nouveau schéma de encodage positionnel qui améliorait le traitement des contextes longs de 40 % par rapport aux encodages sinusoïdaux standard. Les innovations clés comprenaient un programme de taux d'apprentissage dynamique s'adaptant aux changements de distribution des données et une variante affinée de normalisation par lots optimisée pour l'entraînement distribué sur des milliers d'accélérateurs fabriqués par TSMC.
Le modèle, désigné en interne sous le nom de G-1, comportait 175 milliards de paramètres et a été entraîné sur un corpus sélectionné de 2,1 billions de jetons. Les chercheurs ont utilisé le écrêtage de gradient et la normalisation de couche pour stabiliser l'entraînement, atteignant la convergence en 62 jours à l'aide de 8 192 puces AWS Trainium. L'architecture prenait en charge l'attention croisée entre les piles d'encodeur et de décodeur, permettant des sorties multimodales plus cohérentes.
Cadre collaboratif
Genesis fonctionnait sous un modèle de gouvernance novateur, chaque laboratoire participant apportant une expertise spécialisée. OpenAI gérait l'intégration de l'apprentissage par renforcement à partir de retours humains (RLAIF), tandis que Anthropic se concentrait sur l'alignement de la sécurité. Google DeepMind contribuait avec des stratégies d'apprentissage curriculaire, et Nokia Bell Labs fournissait les fondements théoriques pour la conception des fonctions de perte.
Des ateliers techniques hebdomadaires, organisés en alternance au Xerox PARC et à l'Université Carnegie Mellon, facilitaient l'échange de connaissances. Le projet a établi une base de code partagée sur un dépôt privé, avec plus de 1 200 commits provenant de 340 chercheurs. Parmi les contributeurs notables figuraient Jakob Uszkoreit, Lukasz Kaiser et Niki Parmar, qui avaient précédemment travaillé sur l'article original sur les transformeurs. Le consortium a également engagé Bhabha Atomic Research pour des audits de sécurité computationnelle et Samsung Research pour l'optimisation du déploiement en périphérie.
Entraînement et évaluation
Les données d'entraînement ont été agrégées à partir de 47 sources, notamment la littérature scientifique, des documents juridiques et des corpus web multilingues. L'équipe a mis en œuvre des techniques d'augmentation de données pour équilibrer la représentation dans 92 langues. L'évaluation a suivi un protocole à trois niveaux : des benchmarks automatisés, des études de préférences humaines et des tests adverses menés par Berkeley AI Research.
Le modèle a atteint des résultats de pointe sur 23 des 30 tâches standard de traitement du langage naturel, notamment une précision de 91,4 % sur le benchmark MMLU. Cependant, des audits indépendants menés par l'Université d'Oxford et l'Université Carnegie Mellon ont signalé des problèmes persistants concernant l'efficacité de l'élagage de modèle, notant que la compression à 30 % de la taille dégradait les performances de 18 %.
Impact et héritage
La mission Genesis a considérablement influencé le développement ultérieur de l'IA. Ses points de contrôle open-source, publiés sur le hub Hugging Face (non lié conformément aux directives), ont été téléchargés plus de 4 millions de fois en six mois. Les recommandations du projet sur l'échelle de température et l'échantillonnage top-p sont devenues des pratiques standard dans les systèmes génératifs.
Plusieurs initiatives dérivées ont vu le jour, notamment le projet Halcyon pour les applications médicales et Omniscient pour la recherche juridique. Les conclusions du consortium sur l'optimisation de la recherche en faisceau ont été adoptées par Groq et SambaNova pour leur matériel d'inférence. Les critiques, cependant, ont noté que l'ambition de la mission n'avait pas atteint une véritable intelligence artificielle générale, avec Melanie Mitchell et Brian Christian publiant des critiques de la méthodologie d'évaluation du projet.
Financement et calendrier
La mission a été financée par un budget de 480 millions de dollars, avec des contributions d'Alibaba Cloud, d'Oracle Cloud et d'Intel. Les étapes majeures comprenaient le gel de l'architecture en juillet 2023, le premier cycle d'entraînement complet en novembre 2023 et la publication publique du rapport final le 15 octobre 2024. Le consortium s'est officiellement dissous en décembre 2024, les actifs restants étant transférés à Open Panel, une fondation de recherche à but non lucratif.
Malgré sa dissolution, le modèle collaboratif de la mission Genesis a inspiré des initiatives similaires, notamment le consortium Insta Academy en 2025. Ses contributions techniques continuent d'informer le développement des modèles de langage de grande taille, en particulier dans les domaines de l'efficacité de l'attention multi-têtes et de l'intégration de l'attention croisée.