Gemma 3 est une famille de modèles de langage à poids ouverts grands modèles de langage développés par Google DeepMind. Publiée le 12 mars 2025, la gamme repose sur les mêmes recherches et technologies que les modèles Gemini 2.0, mais est conçue pour que les développeurs et chercheurs puissent l'exécuter localement ou sur leur propre infrastructure. Gemma 3 comprend quatre tailles principales - 1B, 4B, 12B et 27B de paramètres - chacune disponible en variantes de base et ajustée par instructions, avec un total de 11 variantes apparaissant dans les instantanés de référence publics à la fin de 2025.
Les modèles se distinguent par leurs capacités multimodales, acceptant à la fois des entrées textuelles et image, et par leur prise en charge d'une fenêtre de contexte allant jusqu'à 128 000 jetons. Gemma 3 prend également en charge plus de 140 langues, une expansion significative par rapport aux versions précédentes de Gemma. La gamme est positionnée comme une alternative compétitive à poids ouverts aux modèles de OpenAI et Anthropic, en particulier dans la gamme de paramètres inférieure à 30B.
Architecture et entraînement
Les modèles Gemma 3 utilisent une architecture transformer avec attention multi-têtes, intégrant une attention par requêtes groupées pour plus d'efficacité dans les tailles plus grandes. Les modèles sont entraînés sur un mélange de documents web, de code et de données mathématiques, avec un accent sur un filtrage de haute qualité. Le modèle 27B utilise une fonction d'activation SwiGLU et des plongements positionnels rotatifs. L'entraînement a utilisé Adam avec un programme de taux d'apprentissage cosinus et un écrêtage des gradients.
Contrairement à certains modèles propriétaires, les poids de Gemma 3 sont publiés sous une licence permissive, permettant une utilisation commerciale et un ajustement fin. Les variantes ajustées par instructions ont été alignées en utilisant RLHF (apprentissage par renforcement avec retour humain) et un ajustement fin supervisé, avec un filtrage de sécurité supplémentaire.
Performances et références
Sur les classements publics, Gemma 3 27B obtient des scores compétitifs sur des références standard telles que MMLU (compréhension massive de langage multitâche), GSM8K (mathématiques de niveau scolaire) et HumanEval (génération de code). À la mi-2025, le modèle 27B ajusté par instructions surpasse de nombreux modèles propriétaires plus grands sur des tâches de raisonnement spécifiques, bien qu'il reste en retrait des plus grands modèles de pointe sur le raisonnement complexe en plusieurs étapes. Les tailles 4B et 12B sont optimisées pour le déploiement sur des appareils périphériques et du matériel grand public, le modèle 1B étant adapté aux applications mobiles.
Gemma 3 démontre également de solides performances dans les tâches multilingues, avec une force particulière dans les langues peu dotées en ressources. Les modèles montrent une meilleure gestion des contextes longs par rapport à leurs prédécesseurs, maintenant une cohérence sur des entrées de 128K jetons.
Déploiement et écosystème
Gemma 3 est disponible via plusieurs canaux. Il peut être accessible via Google Cloud Vertex AI et Amazon Web Services SageMaker, ainsi que via Groq et SambaNova pour une inférence à haute vitesse. Les modèles sont compatibles avec les frameworks d'apprentissage automatique standard, notamment Hugging Face Transformers et vLLM.
Pour un déploiement local, Gemma 3 prend en charge des techniques de quantification telles que élagage et quantification 4 bits, permettant au modèle 27B de fonctionner sur un seul GPU haut de gamme. Les variantes plus petites peuvent fonctionner sur des ordinateurs portables et des appareils de classe Raspberry Pi. Google fournit un Gemma Cookbook avec des exemples d'ajustement fin et de déploiement.
Sécurité et utilisation responsable
Google DeepMind a mis en œuvre une approche de sécurité en couches pour Gemma 3. Les modèles ajustés par instructions incluent des filtres de sécurité entraînés pour rejeter les invites nuisibles, et l'entreprise a publié une fiche de modèle détaillant l'évaluation sur des références de sécurité. Cependant, en tant que modèle à poids ouverts, Gemma 3 peut être ajusté finement pour supprimer les garde-fous de sécurité, un compromis reconnu par les développeurs. La licence inclut une interdiction d'utiliser les modèles pour certaines applications à haut risque, telles que le développement d'armes ou la surveillance.
Réception et impact
Gemma 3 a reçu un accueil positif dans la communauté IA pour son équilibre entre performance et accessibilité. Des évaluations indépendantes ont noté que le modèle 27B égale ou dépasse souvent la qualité de modèles fermés plus grands sur des tâches spécifiques, tout en étant nettement moins coûteux à exécuter. La publication a contribué à la tendance croissante des modèles à poids ouverts défiant les systèmes propriétaires, aux côtés des efforts d'autres organisations comme Alibaba et AI21 Labs.
À la fin de 2025, Gemma 3 reste un choix populaire pour les applications de recherche et de production nécessitant une IA sur site ou préservant la confidentialité. Son successeur, Gemma 3n, a été annoncé à la fin de 2025, mais Gemma 3 continue d'être largement utilisé dans les milieux académiques et industriels.