Gemini 2.0 Experimental est une famille de grands modèles de langage développée par Google DeepMind, succédant à la série Gemini 1.5. Les modèles sont apparus sur des classements publics de LLM et dans les médias sous le nom « Gemini 2.0 Experimental », avec trois variantes distinctes enregistrées dans des instantanés de référence. Depuis le début de l'année 2025, la famille n'est pas publiée ; l'accès est limité aux entrées anonymes d'arènes, et aucun rapport technique officiel ni documentation API n'a été publié.
L'existence de Gemini 2.0 Experimental est devenue connue grâce à son apparition sur des plateformes d'évaluation participatives, où il était répertorié aux côtés d'autres modèles de pointe. Les trois variantes sont généralement désignées par des suffixes tels que « Exp-01 », « Exp-02 » et « Exp-03 », bien que les conventions de nommage exactes varient selon les classements. Ces variantes montrent des améliorations progressives dans le raisonnement, le codage et les tâches multimodales, mesurées par des références publiques comme MMLU, HumanEval et MATH.
Performance de référence
Sur les classements publics, les variantes de Gemini 2.0 Experimental se sont constamment classées parmi les meilleurs modèles, rivalisant souvent avec la série GPT-4 d'OpenAI et Claude 3.5 d'Anthropic. Par exemple, dans un instantané de novembre 2024, la variante Exp-01 a obtenu un score de 87,2 % sur MMLU, dépassant GPT-4 Turbo avec 86,4 % mais restant derrière Claude 3.5 Sonnet avec 88,7 %. Sur HumanEval, la même variante a enregistré un pass@1 de 92,1 %, tandis que sur MATH, elle a atteint 78,5 %. Les variantes ultérieures, Exp-02 et Exp-03, ont montré des gains marginaux, avec Exp-03 obtenant 88,0 % sur MMLU et 93,4 % sur HumanEval.
Ces scores proviennent d'évaluations anonymes, et la configuration exacte du modèle (par exemple, le nombre de paramètres, les données d'entraînement) n'est pas divulguée. Le nom « Experimental » suggère un aperçu de recherche, similaire aux versions précédentes de Google DeepMind comme Gemini 1.5 Pro Experimental.
Caractéristiques techniques
Sur la base d'informations publiques et d'inférences à partir du comportement de référence, les modèles Gemini 2.0 Experimental sont construits sur l'architecture transformeur, cohérente avec le paradigme de l'IA générative. Ils utilisent probablement des couches d'attention multi-têtes et de mélange d'experts, comme observé dans Gemini 1.5. Les modèles sont multimodaux, acceptant des entrées de texte, d'image, d'audio et de vidéo, et génèrent des sorties de texte et de code. La longueur de la fenêtre de contexte est estimée à 1 million de jetons, correspondant à la spécification de Gemini 1.5 Pro, bien que cela ne soit pas confirmé.
Les détails de l'entraînement, tels que l'utilisation de RLHF ou de variantes de RLHF, ne sont pas documentés publiquement. Cependant, les performances solides des modèles sur les tâches de raisonnement suggèrent l'utilisation d'un amorçage de chaîne de pensée et éventuellement d'une mise à l'échelle du calcul au moment du test, une technique notée dans des recherches récentes.
Disponibilité et accès
La famille Gemini 2.0 Experimental n'est pas disponible via les API officielles de Google ou Google AI Studio. Au lieu de cela, elle a été accessible via des plateformes d'arènes anonymes, telles que LMArena (anciennement Chatbot Arena), où les utilisateurs peuvent interagir avec le modèle sans connaître son identité. Cette approche permet à Google DeepMind de collecter des données de préférences humaines et de tester le modèle dans des scénarios réels sans s'engager dans une publication publique.
En janvier 2025, aucune annonce officielle n'a été faite concernant une version stable. Le label « Experimental » suggère que le modèle est en phase de test, et un lancement complet pourrait avoir lieu plus tard en 2025, peut-être sous le nom Gemini 2.0.
Comparaison avec les prédécesseurs
Gemini 2.0 Experimental s'appuie sur les fondations de Gemini 1.5, publié en février 2024. Gemini 1.5 Pro a introduit une fenêtre de contexte de 1 million de jetons et des capacités multimodales avancées. Les variantes 2.0 Experimental montrent des performances améliorées sur les références standard, avec une augmentation moyenne de 3 à 5 % par rapport à Gemini 1.5 Pro sur MMLU, HumanEval et MATH. Par exemple, Gemini 1.5 Pro a obtenu 81,9 % sur MMLU, tandis que Exp-01 a obtenu 87,2 %.
La nature expérimentale implique également un cycle d'itération plus rapide, avec plusieurs variantes publiées en quelques semaines, reflétant l'approche de développement agile de Google DeepMind.
Réception et impact
L'apparition de Gemini 2.0 Experimental sur les classements a suscité un intérêt dans la communauté de l'IA, car elle signale la poursuite des efforts de Google DeepMind pour concurrencer OpenAI et Anthropic. Cependant, le manque de documentation officielle a conduit à des spéculations sur l'architecture et les méthodes d'entraînement du modèle. Certains chercheurs ont noté que les scores de référence pourraient être gonflés en raison d'une contamination de l'ensemble de test, une préoccupation courante avec les modèles anonymes.
Malgré ces incertitudes, Gemini 2.0 Experimental a été salué pour ses solides capacités de raisonnement et de codage, surpassant souvent des modèles plus grands. Ses performances sur des tâches multimodales, telles que la réponse à des questions visuelles, sont également notables, bien que des scores spécifiques ne soient pas agrégés publiquement.
Depuis le début de l'année 2025, le modèle reste une entrée anonyme d'arène, et son avenir est incertain. S'il est publié, il pourrait devenir un acteur majeur dans le paysage de l'IA, influençant potentiellement le développement de modèles ultérieurs d'autres laboratoires.