Llama 3.1 Nemotron est une famille de grands modèles de langage développée par NVIDIA, construite sur l'architecture du Llama 3.1 de Meta. Les modèles sont conçus pour un raisonnement amélioré, le suivi d'instructions et l'alignement avec les préférences humaines. Ils ont été publiés en tant que modèles à poids ouverts, permettant aux chercheurs et aux développeurs de les affiner et de les déployer dans diverses applications. La famille comprend plusieurs tailles de paramètres, avec trois variantes apparaissant dans les instantanés de benchmarks publics sur les classements de LLM.
Développement et publication
NVIDIA a annoncé la famille Llama 3.1 Nemotron à la fin de 2024, suite à la publication des modèles Llama 3.1 de Meta en juillet 2024. La publication initiale incluait la variante Nemotron-70B, qui a rapidement attiré l'attention pour ses performances sur les benchmarks de raisonnement. NVIDIA a positionné ces modèles comme une contribution à l'écosystème de l'IA open source, en mettant l'accent sur l'utilisation de techniques d'alignement avancées. Les modèles ont été mis à disposition sur des plateformes telles que Hugging Face, avec des poids accessibles pour une utilisation en recherche et commerciale sous une licence permissive.
Architecture et entraînement
Les modèles sont basés sur l'architecture transformer, plus précisément la conception à décodeur seul utilisée dans Llama 3.1. Ils intègrent des techniques telles que l'attention multi-têtes et les encodages positionnels rotatifs. NVIDIA a employé un pipeline d'entraînement comprenant un affinage supervisé et un apprentissage par renforcement à partir de retours d'IA (RLAIF), utilisant un modèle de récompense pour aligner les sorties sur les préférences humaines. Les données d'entraînement comprenaient un mélange de corpus publics et de données synthétiques générées par d'autres grands modèles. NVIDIA n'a pas divulgué la composition exacte des données ni le calcul total utilisé pour l'entraînement.
Performances et benchmarks
Les modèles Llama 3.1 Nemotron ont été évalués sur une gamme de benchmarks standard, notamment MMLU (Massive Multitask Language Understanding), GSM8K (mathématiques de niveau scolaire) et HumanEval (génération de code). La variante 70B aurait obtenu des scores compétitifs ou supérieurs à ceux de modèles propriétaires plus grands sur certaines tâches de raisonnement. Sur les classements publics tels que LMArena (anciennement Chatbot Arena), les modèles ont été répertoriés avec des notes Elo dans la catégorie supérieure, bien que les chiffres spécifiques varient selon l'instantané. Les trois variantes dans les instantanés de benchmarks correspondent à différentes tailles de paramètres, probablement 8B, 70B et une configuration plus grande, bien que les spécifications exactes pour toutes les variantes n'aient pas été publiées de manière uniforme.
Applications et écosystème
NVIDIA a intégré Llama 3.1 Nemotron dans sa pile logicielle NVIDIA AI Enterprise, permettant le déploiement sur Azure, Google Cloud et AWS via leurs places de marché respectives. Les modèles sont également pris en charge par Groq et SambaNova pour une inférence à faible latence. Les développeurs ont utilisé les modèles pour des tâches telles que la génération de code, le raisonnement mathématique et les agents conversationnels. La nature à poids ouverts des modèles a facilité l'affinage pour des applications spécifiques à un domaine, notamment dans la santé et la finance.
Réception et impact
La publication de Llama 3.1 Nemotron a suscité l'intérêt de la communauté de l'apprentissage automatique, en particulier pour son utilisation du RLAIF, qui offrait une alternative au RLHF traditionnel. Certains chercheurs ont noté que les modèles démontraient de fortes performances sur les benchmarks de raisonnement, réduisant l'écart entre les modèles ouverts et fermés. Cependant, certaines évaluations ont également mis en évidence des incohérences de performance entre différentes tâches, et les modèles n'étaient pas universellement classés en tête. NVIDIA a continué à itérer sur la gamme Nemotron, publiant des versions ultérieures avec des capacités améliorées.
Licence et disponibilité
Les modèles Llama 3.1 Nemotron sont distribués sous la licence NVIDIA Open Model License, qui permet une utilisation commerciale, une modification et une redistribution, avec l'exigence que les œuvres dérivées incluent des conditions de licence similaires. Les poids sont disponibles en téléchargement sur Hugging Face, et les modèles peuvent être exécutés localement sur du matériel compatible, y compris les GPU AMD et Intel, ainsi que les GPU NVIDIA. La licence ne restreint pas l'utilisation des modèles à des fins de recherche, et NVIDIA fournit de la documentation et des exemples de code pour l'affinage et le déploiement.