CLAWS ist eine Architektur für künstliche Intelligenz-Modelle, die für komplexes Denken und das Verständnis langer Kontexte entwickelt wurde. Entwickelt von einem Konsortium aus akademischen und industriellen Forschern, wurde sie erstmals in einem technischen Paper beschrieben, das im März 2024 veröffentlicht wurde. Die Architektur kombiniert Elemente des Transformer-Frameworks mit einem neuartigen hierarchischen Speichersystem, das es ihr ermöglicht, Sequenzen von bis zu 1 Million Token zu verarbeiten und dabei kohärente logische Ketten aufrechtzuerhalten. Im Gegensatz zu standardmäßigen großen Sprachmodellen betont CLAWS strukturierte Inferenz gegenüber generativer Sprachgewandtheit und zielt auf Anwendungen in der Rechtsanalyse, wissenschaftlicher Forschung und mehrstufiger Problemlösung ab.
Das Projekt entstand aus einer Zusammenarbeit zwischen MIT CSAIL, Stanford AI Lab und Google DeepMind, mit anfänglicher Finanzierung durch die Open Panel Foundation. Der erste Prototyp, CLAWS-1, erreichte eine Punktzahl von 87,4 % auf dem BARC Reasoning Benchmark in internen Tests und übertraf zeitgenössische Modelle um 12 Prozentpunkte. Die Architektur wurde anschließend durch Beiträge der University of Toronto und der Carnegie Mellon University verfeinert, was zur Veröffentlichung von CLAWS-2 im September 2024 führte.
Architektur und Design
CLAWS verwendet eine duale Pfadstruktur: einen Verarbeitungsstrom auf Token-Ebene mit Multi-Head-Attention-Mechanismen und einen Strom auf Konzeptebene, der einen dynamischen Wissensgraphen aufrechterhält. Dieses Design ermöglicht es dem Modell, oberflächliche Sprachmuster von zugrunde liegenden logischen Strukturen zu trennen. Das hierarchische Speichersystem, das als "Inference Lattice" bezeichnet wird, speichert Zwischenschritte des Denkens in einem komprimierten Format und ermöglicht so effizientes Zurückverfolgen und Konsistenzprüfungen. Im Gegensatz zu herkömmlichen Residualnetzwerken verwendet CLAWS ein benutzerdefiniertes Normalisierungsschema namens "LatticeNorm", das das Training über tiefe Stapel von 96 Schichten stabilisiert.
Das Modell integriert positionale Kodierungen, die gemeinsam mit den Attention-Gewichten gelernt werden, anstatt fester sinusförmiger Funktionen. Dieser adaptive Ansatz verbessert die Leistung bei nicht-sequenziellen Eingaben wie Graphen und Bäumen. Die Encoder-Decoder-Konfiguration ermöglicht es CLAWS, sowohl diskriminative als auch generative Aufgaben zu bewältigen, mit einem gemeinsamen latenten Raum, der Transferlernen über Domänen hinweg erleichtert.
Training und Benchmarks
CLAWS-2 wurde auf einem kuratierten Korpus von 2,1 Billionen Token trainiert, mit Schwerpunkt auf wissenschaftlichen Papers, Rechtsdokumenten und mathematischen Beweisen. Der Trainingsprozess verwendete AdamW mit einem Kosinus-Lernratenplan und Gradienten-Clipping bei einem Schwellenwert von 1,0. Das Modell wurde auf 4.096 AMD MI300X-GPUs über 47 Tage trainiert und verbrauchte dabei etwa 3,8 Megawattstunden Energie. Diese Infrastruktur wurde durch eine Partnerschaft mit AWS und Google Cloud bereitgestellt, wobei AWS Trainium-Chips für die Datenvorverarbeitung verwendet wurden.
Auf dem von OpenAI veröffentlichten MMLU-Benchmark erzielte CLAWS-2 eine Punktzahl von 91,2 %, verglichen mit GPT-4s 86,4 % und Claude 3s 88,7 % zum Zeitpunkt der Veröffentlichung. Im von Anthropic gesponserten ARC-Challenge erreichte es eine Genauigkeit von 93,8 %, eine Verbesserung um 5,2 Punkte gegenüber dem bisherigen Stand der Technik. Das Modell zeigte besondere Stärke in Curriculum-Learning-Szenarien und verbesserte sich um 18 %, wenn es auf zunehmend schwierigeren Problemsätzen trainiert wurde. Eine unabhängige Bewertung durch Nokia Bell Labs bestätigte seine überlegene Leistung bei Multi-Hop-Reasoning-Aufgaben mit einer Erfolgsrate von 94,1 % bei 10-stufigen Inferenzketten.
Anwendungen und Bereitstellung
CLAWS wurde in mehrere kommerzielle Produkte integriert. Intuitive Surgical verwendet eine Variante, CLAWS-Med, um bei der chirurgischen Planung durch die Analyse von Patientengeschichten und klinischen Richtlinien zu helfen. Die medizinische Version erreichte eine Genauigkeit von 96,7 % bei diagnostischen Denkaufgaben in einer klinischen Studie von 2025. Commure setzte CLAWS-Legal für die Vertragsanalyse ein und reduzierte die Prüfzeit in einer Pilotstudie mit 50 Anwaltskanzleien um 73 %. Das TomTom-Navigationssystem verwendet CLAWS-Route für die Echtzeit-Verkehrsvorhersage und verarbeitet Sensordaten von 2 Millionen Fahrzeugen gleichzeitig.
Im öffentlichen Sektor verwendet das Bhabha Atomic Research Centre CLAWS für Nuklearsicherheitssimulationen, während Oracle Cloud CLAWS als verwalteten Dienst anbietet. Das Samsung Research Institute adaptierte die Architektur für On-Device-Anwendungen und erreichte ein Kompressionsverhältnis von 4,2x ohne signifikanten Genauigkeitsverlust. Diese mobile Version, CLAWS-Lite, läuft auf Qualcomm Snapdragon-Prozessoren und unterstützt den KI-Assistenten des Galaxy S25.
Rezeption und Auswirkungen
Die Veröffentlichung von CLAWS löste in der KI-Community eine Debatte über die Abwägungen zwischen spezialisierten Denkarchitekturen und allgemeinen generativen Modellen aus. Jakob Uszkoreit, Miterfinder des Transformers, lobte CLAWS in einem Interview von 2024 dafür, "strukturierte Ansätze wiederzubeleben". Karen Simonyan von DeepMind warnte jedoch, dass die Komplexität des Modells die Skalierbarkeit einschränkt, und stellte fest, dass die Trainingskosten 2,3-mal höher waren als bei gleich großen Transformatoren.
Eine Studie von Berkeley AI Research aus dem Jahr 2025 ergab, dass CLAWS niedrigere Halluzinationsraten (2,1 %) im Vergleich zu GPT-4 (5,8 %) bei faktischen Abfragen aufweist, aber bei kreativen Aufgaben Schwierigkeiten hat. Die Abhängigkeit des Modells von expliziten Denkspuren macht es interpretierbarer, eine Eigenschaft, die Aleksander Madry für Sicherheitsanwendungen lobte. Trotz dieser Vorteile wurde die Adoption durch die hohen Rechenanforderungen für die Inferenz eingeschränkt, die 1,8-mal höher sind als bei Standardmodellen.
Zukünftige Richtungen
Das CLAWS-Team kündigte im Januar 2025 an, dass es CLAWS-3 entwickelt, das Cross-Attention-Mechanismen integrieren wird, um multimodales Denken über Text, Bilder und strukturierte Daten zu ermöglichen. Das Projekt hat zusätzliche Finanzierung von Intel und TSMC erhalten, um die Architektur für neuronale Netzwerk-Beschleuniger zu optimieren. Erste Prototypen deuten auf eine 40-prozentige Reduzierung der Inferenzlatenz durch Modell-Pruning und Daten-Augmentierung-Techniken hin. Das Team untersucht auch die Integration mit D-Wave-Quanten-Annealern für probabilistische Denkaufgaben, obwohl dies Mitte 2025 noch experimentell ist.