Gemini 1.5 001 est la première version stable de la famille Gemini 1.5 de grands modèles de langage développée par Google DeepMind. La famille a été annoncée le 15 février 2024, et la désignation 001 fait référence aux versions initiales de l'API de ses modèles constitutifs. Ces modèles sont des exemples de IA générative, un sous-domaine de l'intelligence artificielle, acceptant des entrées de texte, d'image, d'audio et de vidéo, et sont construits sur une architecture de transformeur avec une conception de mélange d'experts.
La famille Gemini 1.5 est apparue sur les classements publics de LLM, notamment Chatbot Arena et Artificial Analysis, où ses variantes ont été évaluées par rapport à d'autres modèles. Les versions 001 ont été les premières à être mises à la disposition des développeurs via Google AI Studio et la plateforme Vertex AI de Google Cloud.
Contexte et lancement
Google DeepMind a annoncé Gemini 1.5 le 15 février 2024, comme une mise à niveau des modèles précédents Gemini 1.0. Le lancement initial comprenait Gemini 1.5 Pro, un modèle phare, et s'est ensuite élargi à Gemini 1.5 Flash, une variante plus légère et plus rapide optimisée pour les tâches à volume élevé. Le suffixe « 001 » dans les noms de modèles, tels que gemini-1.5-pro-001 et gemini-1.5-flash-001, identifie la première version stable de chaque modèle de la famille. Ces versions ont été mises à la disposition des développeurs et des clients d'entreprise via Google AI Studio et Vertex AI, avec une tarification basée sur l'utilisation de jetons.
Architecture
Les modèles Gemini 1.5 utilisent une architecture basée sur le transformeur avec une conception de réseau neuronal de mélange d'experts, qui n'active qu'un sous-ensemble de paramètres pour chaque jeton, améliorant ainsi l'efficacité. Ils prennent en charge une fenêtre de contexte allant jusqu'à un million de jetons, permettant le traitement de longs documents, de bases de code et de vidéos. Les modèles sont entraînés à l'aide de techniques de apprentissage profond sur divers types de données et peuvent effectuer des tâches sur du texte, des images, de l'audio et de la vidéo. L'architecture comprend attention multi-têtes et encodage positionnel, des composants courants dans les grands modèles de langage modernes.
Variantes
La version 001 comprend trois variantes principales dans les instantanés de référence publics :
- Gemini 1.5 Pro : le modèle phare, conçu pour le raisonnement complexe et les tâches multimodales.
- Gemini 1.5 Flash : un modèle plus rapide et plus rentable pour les applications à grande échelle.
- Gemini 1.5 Flash-Lite : une variante légère introduite plus tard, optimisée pour une latence et un coût encore plus faibles.
Ces variantes partagent la même architecture sous-jacente mais diffèrent par le nombre de paramètres et la vitesse d'inférence. Les modèles Flash et Flash-Lite sont destinés à des cas d'utilisation où le temps de réponse et le coût sont critiques.
Inférence et déploiement
Les développeurs peuvent accéder aux modèles Gemini 1.5 001 via Google AI Studio et Vertex AI. Pendant l'inférence, ils peuvent ajuster des paramètres de génération tels que échantillonnage top-k, échantillonnage top-p et température pour contrôler le caractère aléatoire de la sortie. Les modèles prennent également en charge le décodage déterministe via recherche en faisceau. Les points de terminaison de l'API sont hébergés sur l'infrastructure de Google Cloud, et les modèles prennent en charge les réponses en streaming pour les applications à faible latence.
Performances et réception
Les modèles Gemini 1.5 001 ont été évalués sur des classements publics tels que Chatbot Arena et Artificial Analysis, où ils ont concouru avec des modèles d'OpenAI, d'Anthropic et d'autres organisations. Les modèles ont démontré de fortes performances dans les benchmarks de raisonnement, de codage et multimodaux, reflétant les avancées en apprentissage automatique. La fenêtre de contexte d'un million de jetons était une caractéristique notable qui distinguait la famille de nombreux contemporains.
Héritage
Les versions 001 ont ensuite été remplacées par des versions mises à jour, notamment la série 002, qui a amélioré les performances et réduit la latence. La famille Gemini 1.5 elle-même a été suivie par la famille Gemini 2.0 fin 2024. Malgré les mises à jour, les versions 001 restent disponibles pour les développeurs qui nécessitent des points de terminaison d'API stables et à long terme.