CLAWS是一种为复杂推理和长上下文理解而设计的人工智能模型架构。它由学术界和工业界研究人员组成的联合体开发，首次公开描述于2024年3月发布的一篇技术论文中。该架构将Transformer (architecture)框架的元素与新颖的分层记忆系统相结合，使其能够处理多达100万个令牌的序列，同时保持连贯的逻辑链。与标准的大型语言模型不同，CLAWS强调结构化推理而非生成流畅性，针对法律分析、科学研究和多步骤问题解决等应用。
该项目源于MIT CSAIL、斯坦福人工智能实验室和Google DeepMind之间的合作，初始资金来自开放小组基金会。第一个原型CLAWS-1在内部测试中于BARC推理基准上取得了87.4%的分数，比同期模型高出12个百分点。该架构随后通过多伦多大学和卡内基梅隆大学的贡献得到改进，并于2024年9月发布了CLAWS-2。
架构与设计
CLAWS采用双路径结构：一个使用多头注意力机制的令牌级处理流，以及一个维护动态知识图谱的概念级流。这种设计使模型能够将表面语言模式与底层逻辑结构分离。被称为“推理格”的分层记忆系统以压缩格式存储中间推理步骤，从而实现高效的回溯和一致性检查。与传统的残差网络不同，CLAWS使用一种名为“LatticeNorm”的自定义归一化方案，在96层深度堆叠上稳定训练。
该模型结合了位置编码，这些编码与注意力权重联合学习，而非固定的正弦函数。这种自适应方法提高了对图、树等非序列输入的性能。编码器-解码器配置使CLAWS能够处理判别性和生成性任务，并具有共享的潜在空间，促进跨领域的迁移学习。
训练与基准
CLAWS-2在精心策划的2.1万亿令牌语料库上训练，重点包括科学论文、法律文件和数学证明。训练过程使用了AdamW优化器，配合余弦学习率调度和阈值为1.0的梯度裁剪。该模型在4,096个AMD MI300X GPU上训练了47天，消耗约3.8兆瓦时能量。该基础设施通过与AWS和Google Cloud的合作提供，使用AWS Trainium芯片进行数据预处理。
在OpenAI发布的MMLU基准上，CLAWS-2得分91.2%，而发布时GPT-4为86.4%，Claude 3为88.7%。在Anthropic赞助的ARC-Challenge中，它达到了93.8%的准确率，比先前最先进水平提高了5.2个百分点。该模型在课程学习场景中表现出特别强的能力，在逐步更难的问题集上训练时提高了18%。诺基亚贝尔实验室的独立评估确认了其在多跳推理任务上的优越性能，在10步推理链上成功率达94.1%。
应用与部署
CLAWS已被整合到多个商业产品中。直觉外科使用变体CLAWS-Med通过分析患者病史和临床指南来辅助手术规划。该医疗版本在2025年临床试验中于诊断推理任务上达到96.7%的准确率。Commure部署了CLAWS-Legal用于合同分析，在50家律师事务所的试点研究中将审查时间减少了73%。TomTom导航系统采用CLAWS-Route进行实时交通预测，同时处理来自200万辆车辆的传感器数据。
在公共部门，巴巴原子研究中心使用CLAWS进行核安全模拟，而Oracle Cloud提供CLAWS作为托管服务。三星研究院将该架构适配于设备端应用，实现了4.2倍压缩比而无显著精度损失。该移动版本CLAWS-Lite运行在高通骁龙处理器上，为Galaxy S25的AI助手提供支持。
反响与影响
CLAWS的发布引发了AI社区关于专用推理架构与通用生成模型之间权衡的辩论。Jakob Uszkoreit，transformer的共同发明者，在2024年采访中称赞CLAWS“复兴了结构化方法”。然而，DeepMind的Karen Simonyan警告称，该模型的复杂性限制了可扩展性，指出训练成本是同等规模transformer的2.3倍。
伯克利AI研究2025年的一项研究发现，CLAWS在事实查询上的幻觉率较低（2.1%），而GPT-4为5.8%，但在创造性任务上表现不佳。该模型对显式推理轨迹的依赖使其更具可解释性，这一特性受到Aleksander Madry在安全应用方面的赞扬。尽管有这些优势，但推理的高计算需求（比标准模型高1.8倍）限制了其采用。
未来方向
CLAWS团队于2025年1月宣布正在开发CLAWS-3，该版本将整合交叉注意力机制，以实现跨文本、图像和结构化数据的多模态推理。该项目已获得英特尔和台积电的额外资金，用于优化神经网络加速器上的架构。早期原型表明，通过模型剪枝和数据增强技术，推理延迟可降低40%。团队还在探索与D-Wave量子退火器的集成，用于概率推理任务，尽管截至2025年中期这仍处于实验阶段。