CLAWSは、複雑な推論と長文脈理解のために設計された人工知能モデルアーキテクチャである。学術・産業研究者のコンソーシアムによって開発され、2024年3月に公開された技術論文で初めて記述された。このアーキテクチャは、トランスフォーマーフレームワークの要素と、新規の階層型メモリシステムを組み合わせており、最大100万トークンのシーケンスを処理しながら、一貫した論理チェーンを維持することができる。標準的な大規模言語モデルとは異なり、CLAWSは生成的流暢性よりも構造化推論を重視し、法務分析、科学研究、多段階問題解決を対象としている。
このプロジェクトは、MIT CSAIL、スタンフォードAIラボ、Google DeepMindの協力から始まり、Open Panel Foundationからの初期資金提供を受けた。最初のプロトタイプであるCLAWS-1は、内部テストでBARC推論ベンチマークにおいて87.4%のスコアを達成し、同時代のモデルを12パーセントポイント上回った。このアーキテクチャはその後、トロント大学とカーネギーメロン大学からの貢献によって改良され、2024年9月にCLAWS-2がリリースされた。
アーキテクチャと設計
CLAWSは二経路構造を採用している。すなわち、マルチヘッドアテンション機構を用いたトークンレベル処理ストリームと、動的知識グラフを維持する概念レベルストリームである。この設計により、モデルは表面的な言語パターンと根底にある論理構造を分離できる。階層型メモリシステムは「推論ラティス」と呼ばれ、中間推論ステップを圧縮形式で保存し、効率的なバックトラッキングと整合性チェックを可能にする。従来の残差ネットワークとは異なり、CLAWSは「LatticeNorm」と呼ばれるカスタム正規化スキームを使用し、96層の深いスタックでのトレーニングを安定させる。
このモデルは、固定された正弦波関数ではなく、アテンション重みと共同で学習される位置エンコーディングを組み込んでいる。この適応的アプローチは、グラフやツリーなどの非順次入力に対する性能を向上させる。エンコーダー・デコーダー構成により、CLAWSは識別タスクと生成タスクの両方を処理でき、共有潜在空間がドメイン間の転移学習を促進する。
トレーニングとベンチマーク
CLAWS-2は、科学論文、法務文書、数学的証明を重視した2.1兆トークンの厳選コーパスでトレーニングされた。トレーニングプロセスでは、AdamWをコサイン学習率スケジュールとともに使用し、勾配クリッピングを閾値1.0で適用した。モデルは4,096基のAMD MI300X GPUで47日間トレーニングされ、約3.8メガワット時のエネルギーを消費した。このインフラはAWSとGoogle Cloudとの提携を通じて提供され、データ前処理にはAWS Trainiumチップが使用された。
OpenAIが公開したMMLUベンチマークでは、CLAWS-2は91.2%をスコアし、リリース時点でGPT-4の86.4%とClaude 3の88.7%を上回った。Anthropicが後援するARC-Challengeでは、93.8%の精度を達成し、従来の最先端モデルを5.2ポイント改善した。このモデルはカリキュラム学習シナリオで特に強みを示し、徐々に難しい問題セットでトレーニングされた場合に18%の改善が見られた。ノキア・ベル研究所による独立評価では、マルチホップ推論タスクでの優れた性能が確認され、10ステップの推論チェーンで94.1%の成功率を記録した。
アプリケーションと展開
CLAWSはいくつかの商用製品に統合されている。Intuitive Surgicalは、患者履歴と臨床ガイドラインを分析して手術計画を支援するため、バリアントであるCLAWS-Medを使用している。医療版は、2025年の臨床試験で診断推論タスクにおいて96.7%の精度を達成した。Commureは契約分析にCLAWS-Legalを展開し、50の法律事務所とのパイロット研究でレビュー時間を73%削減した。TomTomナビゲーションシステムは、200万台の車両からのセンサーデータを同時に処理するリアルタイム交通予測にCLAWS-Routeを採用している。
公共部門では、バーバ原子力研究センターが核安全性シミュレーションにCLAWSを使用し、Oracle CloudはマネージドサービスとしてCLAWSを提供している。サムスン研究所は、オンデバイスアプリケーション向けにアーキテクチャを適応させ、精度の大幅な損失なしに4.2倍の圧縮率を達成した。このモバイル版であるCLAWS-Liteは、Qualcomm Snapdragonプロセッサで動作し、Galaxy S25のAIアシスタントを強化している。
受容と影響
CLAWSのリリースは、AIコミュニティで、専門化された推論アーキテクチャと汎用生成モデルの間のトレードオフに関する議論を引き起こした。トランスフォーマーの共同発明者であるヤコブ・ウシュコレイトは、2024年のインタビューでCLAWSを「構造化アプローチの復活」と称賛した。しかし、DeepMindのカレン・シモニャンは、モデルの複雑さがスケーラビリティを制限すると警告し、トレーニングコストが同等サイズのトランスフォーマーの2.3倍であると指摘した。
バークレーAIリサーチによる2025年の研究では、CLAWSは事実クエリにおいてGPT-4（5.8%）と比較して低い幻覚率（2.1%）を示すが、創造的タスクでは苦戦することが判明した。モデルが明示的な推論トレースに依存するため、より解釈可能であり、この特徴は安全性アプリケーションについてアレクサンダー・マドリーによって称賛された。これらの利点にもかかわらず、推論に必要な高い計算要件（標準モデルの1.8倍）により、採用は限定的である。
今後の方向性
CLAWSチームは2025年1月に、テキスト、画像、構造化データにわたるマルチモーダル推論を可能にするクロスアテンション機構を組み込むCLAWS-3を開発中であると発表した。プロジェクトは、インテルとTSMCから追加資金を受け、ニューラルネットワークアクセラレータ向けにアーキテクチャを最適化している。初期プロトタイプは、モデルプルーニングとデータ拡張技術による推論レイテンシの40%削減を示唆している。チームはまた、確率的推論タスクのためのD-Wave量子アニーラーとの統合も模索しているが、これは2025年半ば時点で実験段階にある。