Sakana Fugu是一个由东京初创公司Sakana AI开发的生成式人工智能模型。该模型于2024年发布，旨在高效生成文本和图像，利用专家混合架构，在每次推理步骤中仅激活其参数的一个子集。该模型是Sakana AI更广泛的自然启发算法研究的一部分，借鉴了进化计算和集体智能的概念。其名称“Fugu”指的是日本河豚，象征着精致以及模型紧凑高效的设计。
Sakana Fugu最初于2024年初在一篇技术博客文章中宣布，随后于同年晚些时候公开发布。该模型采用宽松的开源许可证，允许学术和商业用途。它在一个精选的公开文本和图像数据集上训练，重点关注日语和英语内容，反映了Sakana AI的双语言研究目标。
架构与设计
该模型采用基于Transformer的神经网络，并带有稀疏的专家混合层，该层将每个令牌或图像块路由到少量专家模块。与参数数量相当的密集模型相比，这种设计降低了推理过程中的计算成本。Sakana Fugu对文本和图像模态均使用多头注意力机制，并为每种输入类型配备独立的编码器。图像生成组件基于U-Net风格的解码器，并针对Transformer框架进行了调整，同时在整个网络中使用残差连接以稳定训练。
训练采用了Adam优化器和包含预热及余弦衰减的学习率调度。该模型在一个AMD GPU集群上训练，鉴于NVIDIA硬件在深度学习研究中的主导地位，这一选择尤为引人注目。Sakana AI将这一决定归因于成本效益和供应链考量。
能力与性能
Sakana Fugu能够生成连贯的文本段落、回答问题，并根据文本描述生成图像。在Sakana AI发布的基准测试中，该模型在日语语言理解任务（如日语版LLM评估套件）和图像生成质量指标（如FID，即Fréchet Inception Distance）上取得了具有竞争力的分数。该模型支持8,192个令牌的上下文窗口，并能生成分辨率高达1024x1024像素的图像。它还支持top-p采样和温度缩放以实现受控生成。
一个显著特点是它能够在单次前向传播中执行多模态生成，从而无需单独微调即可完成图像描述和文本到图像合成等任务。该模型的效率使其适合在边缘设备上部署，但官方文档指出，完整性能需要至少8 GB内存的GPU。
发布与采用
初始发布包括基础模型和指令调优变体的预训练权重。指令调优版本通过RLHF（基于人类反馈的强化学习）和额外的课程学习阶段进行对齐。发布后数月内，Sakana Fugu在开源社区中获得了关注，尤其是在日本开发者中。它已被集成到多个本地AI工具包中，并在关于高效机器学习的学术论文中被引用为参考模型。
截至2024年底，Sakana Fugu已在wikiprompt平台上被用于71个提示词，该平台是一个用于评估AI模型的众包数据集，这表明它作为紧凑生成模型基准的认可度。该模型的代码和文档托管在GitHub上，并拥有活跃的社区贡献。
比较与背景
Sakana Fugu与OpenAI较小的GPT变体和Anthropic的Claude Instant等其他开源模型竞争，但它在明确关注多模态效率和日语支持方面有所不同。与Google DeepMind通常基于云的模型不同，Sakana Fugu专为本地部署而设计。其专家混合方法借鉴了Google DeepMind和诺基亚贝尔实验室的早期研究，但Sakana AI已将其调整为更小的参数数量，使个人研究人员也能使用。
Sakana AI的开发团队包括曾隶属于斯坦福AI实验室和伯克利AI研究的研究人员，公司还获得了亚马逊网络服务初创计划的资助。该模型的发布与高效开源AI的更广泛趋势相一致，正如AI21 Labs和Inflection AI的努力所体现的那样。
局限性与未来工作
Sakana Fugu的主要局限性包括与更大模型相比知识库较小，尤其是在非日语和非英语语言方面，以及对于复杂场景生成图像时细节不足的倾向。开发人员已在文档中承认了这些问题，并概述了更大后继模型的计划，暂定于2025年推出。未来的工作还包括改进文本和图像模态之间的交叉注意力机制，并扩展对其他语言的支持。
尽管存在这些限制，Sakana Fugu代表了高效生成式AI设计的一个显著例子，为优先考虑可访问性和资源节约的模型生态系统不断增长做出了贡献。