Sakana Fugu est un modèle d'intelligence artificielle générative développé par la startup Sakana AI, basée à Tokyo. Publié en 2024, il est conçu pour la génération efficace de texte et d'images, en s'appuyant sur une architecture Mixture of experts qui n'active qu'un sous-ensemble de ses paramètres à chaque étape d'inférence. Le modèle s'inscrit dans les recherches plus larges de Sakana AI sur les algorithmes inspirés de la nature, s'inspirant de concepts issus du calcul évolutionnaire et de l'intelligence collective. Son nom, « Fugu », fait référence au poisson-globe japonais, symbolisant à la fois la délicatesse et la conception compacte et efficace du modèle.
Sakana Fugu a été annoncé pour la première fois dans un article de blog technique au début de l'année 2024, avec une sortie publique plus tard dans l'année. Le modèle est disponible sous une licence open-source permissive, permettant une utilisation académique et commerciale. Il a été entraîné sur un ensemble de données organisé de textes et d'images accessibles au public, avec un accent sur les contenus japonais et anglais, reflétant les objectifs de recherche bilingues de Sakana AI.
Architecture et conception
Le modèle utilise un transformeur-basé sur un réseau neuronal avec une couche Mixture of experts éparse, qui achemine chaque jeton ou patch d'image vers un petit nombre de modules experts. Cette conception réduit le coût de calcul lors de l'inférence par rapport aux modèles denses de taille de paramètres similaire. Sakana Fugu utilise des mécanismes d'attention multi-têtes pour les modalités texte et image, avec des encodeurs séparés pour chaque type d'entrée. Le composant de génération d'images est basé sur un décodeur de style U-Net, adapté au cadre du transformeur, et utilise des connexions résiduelles tout au long de l'entraînement pour stabiliser ce dernier.
L'entraînement a utilisé l'optimiseur Adam avec un plan de taux d'apprentissage comprenant une phase d'échauffement et une décroissance en cosinus. Le modèle a été entraîné sur un cluster de GPU AMD, un choix notable étant donné la domination du matériel NVIDIA dans la recherche en apprentissage profond. Sakana AI a cité l'efficacité des coûts et des considérations liées à la chaîne d'approvisionnement pour cette décision.
Capacités et performances
Sakana Fugu peut générer des passages de texte cohérents, répondre à des questions et produire des images à partir de descriptions textuelles. Dans les benchmarks publiés par Sakana AI, le modèle a obtenu des scores compétitifs sur des tâches de compréhension de la langue japonaise, telles que la version japonaise de la suite d'évaluation LLM, et sur des métriques de qualité de génération d'images comme le FID (Fréchet Inception Distance). Le modèle prend en charge une fenêtre de contexte de 8 192 jetons pour le texte et génère des images à des résolutions allant jusqu'à 1024x1024 pixels. Il prend également en charge l'échantillonnage top-p et la mise à l'échelle de la température pour une génération contrôlée.
Une caractéristique distinctive est sa capacité à effectuer une génération multimodale en un seul passage avant, permettant des tâches comme le sous-titrage d'images et la synthèse texte-image sans réglage fin séparé. L'efficacité du modèle le rend adapté au déploiement sur des appareils de périphérie, bien que la documentation officielle note que des performances complètes nécessitent un GPU avec au moins 8 Go de mémoire.
Sortie et adoption
La sortie initiale comprenait des poids pré-entraînés pour un modèle de base et une variante affinée par instructions. La version affinée par instructions a été alignée en utilisant RLHF (apprentissage par renforcement à partir de retours humains) et des étapes supplémentaires de apprentissage par programme. En quelques mois après sa sortie, Sakana Fugu a gagné en popularité dans la communauté open-source, en particulier parmi les développeurs japonais. Il a été intégré dans plusieurs boîtes à outils locales d'IA et est cité comme modèle de référence dans des articles académiques sur l'apprentissage automatique efficace.
À la fin de l'année 2024, Sakana Fugu a été utilisé dans 71 prompts sur la plateforme wikiprompt, un ensemble de données participatif pour évaluer les modèles d'IA, indiquant sa reconnaissance comme référence pour les modèles génératifs compacts. Le code et la documentation du modèle sont hébergés sur GitHub, avec des contributions actives de la communauté.
Comparaison et contexte
Sakana Fugu concurrence d'autres modèles open-source comme les variantes plus petites de GPT d'OpenAI et le Claude Instant d'Anthropic, bien qu'il diffère par son accent explicite sur l'efficacité multimodale et le support de la langue japonaise. Contrairement aux modèles de Google DeepMind, souvent basés sur le cloud, Sakana Fugu est conçu pour un déploiement local. Son approche de mélange d'experts s'inspire de recherches antérieures de Google DeepMind et Nokia Bell Labs, mais Sakana AI l'a adaptée pour un nombre de paramètres plus réduit, le rendant accessible aux chercheurs individuels.
L'équipe de développement de Sakana AI comprend des chercheurs anciennement affiliés à Stanford AI Lab et BAIR (Berkeley AI Research), et l'entreprise a reçu des financements du programme de startups d'Amazon Web Services. La sortie du modèle s'aligne sur une tendance plus large vers une IA efficace et open-source, comme le montrent les efforts d'AI21 Labs et d'Inflection AI.
Limites et travaux futurs
Les principales limites de Sakana Fugu incluent une base de connaissances plus réduite par rapport aux modèles plus grands, en particulier pour les langues autres que le japonais et l'anglais, et une tendance à produire des images moins détaillées pour des scènes complexes. Les développeurs ont reconnu ces problèmes dans leur documentation et ont esquissé des plans pour un modèle successeur plus grand, provisoirement prévu pour 2025. Les travaux futurs incluent également l'amélioration des mécanismes de attention croisée entre les modalités texte et image et l'extension du support à d'autres langues.
Malgré ces contraintes, Sakana Fugu représente un exemple notable de conception de génération d'IA efficace, contribuant à l'écosystème croissant de modèles qui privilégient l'accessibilité et la conservation des ressources.