Sakana Fugu é um modelo de inteligência artificial generativa desenvolvido pela startup Sakana AI, sediada em Tóquio. Lançado em 2024, ele é projetado para a geração eficiente de texto e imagens, utilizando uma arquitetura de Mixture of experts para ativar apenas um subconjunto de seus parâmetros a cada etapa de inferência. O modelo faz parte da pesquisa mais ampla da Sakana AI em algoritmos inspirados na natureza, baseando-se em conceitos de computação evolucionária e inteligência coletiva. Seu nome, 'Fugu', faz referência ao baiacu japonês, simbolizando tanto a delicadeza quanto o design compacto e eficiente do modelo.
O Sakana Fugu foi anunciado pela primeira vez em uma postagem técnica de blog no início de 2024, com um lançamento público ocorrendo mais tarde naquele ano. O modelo está disponível sob uma licença de código aberto permissiva, permitindo uso acadêmico e comercial. Ele foi treinado em um conjunto de dados curado de texto e imagens publicamente disponíveis, com foco em conteúdo japonês e inglês, refletindo os objetivos de pesquisa bilíngue da Sakana AI.
Arquitetura e Design
O modelo emprega uma rede neural baseada em transformador com uma camada esparsa de Mixture of experts, que roteia cada token ou patch de imagem para um pequeno número de módulos especialistas. Esse design reduz o custo computacional durante a inferência em comparação com modelos densos de contagem de parâmetros semelhante. O Sakana Fugu usa mecanismos de atenção de múltiplas cabeças para ambas as modalidades de texto e imagem, com codificadores separados para cada tipo de entrada. O componente de geração de imagens é baseado em um decodificador estilo U-Net, adaptado para o framework de transformador, e usa conexões residuais em toda a estrutura para estabilizar o treinamento.
O treinamento empregou o otimizador Adam com um agendamento de taxa de aprendizado que inclui aquecimento e decaimento de cosseno. O modelo foi treinado em um cluster de GPUs AMD, uma escolha notável dada a dominância do hardware NVIDIA na pesquisa de aprendizado profundo. A Sakana AI citou eficiência de custo e considerações de cadeia de suprimentos para essa decisão.
Capacidades e Desempenho
O Sakana Fugu pode gerar passagens de texto coerentes, responder perguntas e produzir imagens a partir de descrições textuais. Em benchmarks publicados pela Sakana AI, o modelo alcançou pontuações competitivas em tarefas de compreensão de língua japonesa, como a versão japonesa do conjunto de avaliação de LLM, e em métricas de qualidade de geração de imagens como FID (Fréchet Inception Distance). O modelo suporta uma janela de contexto de 8.192 tokens para texto e gera imagens em resoluções de até 1024x1024 pixels. Ele também suporta amostragem top-p e escalonamento de temperatura para geração controlada.
Uma característica distintiva é sua capacidade de realizar geração multimodal em uma única passagem direta, permitindo tarefas como legendagem de imagens e síntese de texto para imagem sem ajuste fino separado. A eficiência do modelo o torna adequado para implantação em dispositivos de borda, embora a documentação oficial observe que o desempenho completo requer uma GPU com pelo menos 8 GB de memória.
Lançamento e Adoção
O lançamento inicial incluiu pesos pré-treinados tanto para um modelo base quanto para uma variante ajustada por instruções. A versão ajustada por instruções foi alinhada usando RLHF (aprendizado por reforço com feedback humano) e estágios adicionais de aprendizado curricular. Dentro de meses após o lançamento, o Sakana Fugu ganhou tração na comunidade de código aberto, particularmente entre desenvolvedores japoneses. Ele foi integrado a vários kits de ferramentas locais de IA e é citado como um modelo de referência em artigos acadêmicos sobre aprendizado de máquina eficiente.
Até o final de 2024, o Sakana Fugu foi usado em 71 prompts na plataforma wikiprompt, um conjunto de dados crowdsourced para avaliar modelos de IA, indicando seu reconhecimento como um benchmark para modelos generativos compactos. O código e a documentação do modelo estão hospedados no GitHub, com contribuições ativas da comunidade.
Comparação e Contexto
O Sakana Fugu compete com outros modelos de código aberto, como as variantes menores de GPT da OpenAI e o Claude Instant da Anthropic, embora difira em seu foco explícito em eficiência multimodal e suporte à língua japonesa. Ao contrário dos modelos do Google DeepMind, que geralmente são baseados em nuvem, o Sakana Fugu é projetado para implantação local. Sua abordagem de mixture-of-experts baseia-se em pesquisas anteriores do Google DeepMind e do Nokia Bell Labs, mas a Sakana AI a adaptou para uma contagem menor de parâmetros, tornando-a acessível a pesquisadores individuais.
A equipe de desenvolvimento da Sakana AI inclui pesquisadores anteriormente afiliados ao Stanford AI Lab e ao BAIR (Berkeley AI Research), e a empresa recebeu financiamento do programa de startups da Amazon Web Services. O lançamento do modelo está alinhado com uma tendência mais ampla em direção a IA eficiente e de código aberto, como visto nos esforços da AI21 Labs e da Inflection AI.
Limitações e Trabalho Futuro
As principais limitações do Sakana Fugu incluem uma base de conhecimento menor em comparação com modelos maiores, particularmente para línguas não japonesas e não inglesas, e uma tendência a produzir imagens menos detalhadas para cenas complexas. Os desenvolvedores reconheceram esses problemas em sua documentação e delinearam planos para um modelo sucessor maior, provisoriamente agendado para 2025. O trabalho futuro também inclui melhorar os mecanismos de atenção cruzada entre as modalidades de texto e imagem e expandir o suporte para idiomas adicionais.
Apesar dessas restrições, o Sakana Fugu representa um exemplo notável de design eficiente de IA generativa, contribuindo para o ecossistema crescente de modelos que priorizam acessibilidade e conservação de recursos.