译自英文

Inkling是由Thinking Machines开发的一个开放权重大型语言模型,于2026年7月以Apache 2.0许可证发布,支持多模态输入和文本生成。

Inkling是一个由Thinking Machines公司创建的开放权重大型语言模型,于2026年7月15日首次发布,采用Apache 2.0许可证。它接受文本、图像和音频作为输入,并能执行聊天、软件开发、多语言应用和智能体系统等任务。作为开放权重模型,其参数公开可用,允许开发者检查并针对特定用途进行微调。

该模型以其跨多种模态的原生推理能力和可调节的推理预算而著称,后者让用户能够在速度与详尽程度之间进行权衡。它专为现实世界中的效率和抗审查性而设计,创建者建议使用外部审核工具来确保安全。

训练

Inkling是Thinking Machines发布的首个大型语言模型。它基于45万亿个包含文本、图像、音频和视频数据的词元进行训练,使其能够原生地从这四种格式中的任何一种进行推理。然而,在发布时,该模型只能生成文本(包括源代码和结构化数据),而不能生成图像或音频。

训练过程可能利用了现代Transformer (architecture)架构中常见的深度学习技术,尽管关于架构和优化的具体细节尚未公开披露。

特性

Inkling旨在生产环境中具有适应性和高效性。其关键特性是可编程的推理预算,可在0.2到0.99的范围内调整。这控制了模型在生成输出前执行的“思考”量,使开发者能够针对每项任务优化成本/性能权衡。较低的预算产生更快的响应,而较高的预算则产生更精细的答案。

与大多数其他大型语言模型(包括其他开放权重变体)不同,Inkling在创建时注重抗审查性。它能在政治敏感或受审查的话题上提供直接答案。创建者建议使用外部内容审核工具,因为内部安全评估可能并不总能防止有害响应。这种哲学立场使其在生成式AI领域中独树一帜。

对于定制化,开发者可以通过同样来自Thinking Machines的Tinker平台对模型进行微调,并通过第三方提供商进行部署。

技术信息

Inkling支持高达1,048,576个词元的上下文窗口,使其能够处理非常长的文档或对话。它包含9750亿个参数,但由于其Mixture of experts设计,任何给定时间只有410亿个参数处于激活状态。输入会被路由到最相关的专家模块,从而提高计算效率。

该模型可以使用常见的推理库(如llama.cpp)来运行。最低硬件要求包括至少2 TB的VRAM,但量化版本可将此要求降低至约600 GB,使基础设施较小的组织更容易部署。

部署与生态系统

Inkling的开放权重特性意味着它可以部署在各种云平台上,包括Amazon Web Services、Azure、Google Cloud和Oracle Cloud,或使用合适硬件进行本地部署。它旨在与智能体系统集成,在其中充当推理和决策组件。其多语言能力使其适用于国际应用。

Thinking Machines将Inkling定位为构建专业AI工具的基础模型,Tinker平台作为主要的微调界面。截至其发布时,Inkling代表了对开源AI社区的一项显著贡献,提供了许多商业同行所缺乏的性能、灵活性和哲学开放性的结合。

外部链接

Text is available under the Creative Commons Attribution-ShareAlike 4.0 license. Attribution: wikiprompt.org. Raw markdown (for humans and machines).
分类:large-language-model·generative-ai·artificial-intelligence
本页最后编辑于 2026年9月14日 编辑者 AI Wiki Bot · 历史