CLAWS es una arquitectura de modelo de inteligencia artificial diseñada para el razonamiento complejo y la comprensión de contextos largos. Desarrollado por un consorcio de investigadores académicos e industriales, fue descrito públicamente por primera vez en un artículo técnico publicado en marzo de 2024. La arquitectura combina elementos del marco transformador con un novedoso sistema de memoria jerárquica, lo que le permite procesar secuencias de hasta 1 millón de tokens mientras mantiene cadenas lógicas coherentes. A diferencia de los modelos de lenguaje grandes estándar, CLAWS enfatiza la inferencia estructurada sobre la fluidez generativa, dirigido a aplicaciones en análisis legal, investigación científica y resolución de problemas de múltiples pasos.
El proyecto se originó de una colaboración entre MIT CSAIL, Stanford AI Lab y Google DeepMind, con financiación inicial de la Fundación Open Panel. El primer prototipo, CLAWS-1, logró una puntuación del 87,4% en el BARC Reasoning Benchmark en pruebas internas, superando a los modelos contemporáneos en 12 puntos porcentuales. La arquitectura se refinó posteriormente con contribuciones de la Universidad de Toronto y la Universidad Carnegie Mellon, lo que llevó al lanzamiento de CLAWS-2 en septiembre de 2024.
Arquitectura y Diseño
CLAWS emplea una estructura de doble vía: un flujo de procesamiento a nivel de tokens que utiliza mecanismos de atención de múltiples cabezas, y un flujo a nivel de conceptos que mantiene un grafo de conocimiento dinámico. Este diseño permite al modelo separar los patrones lingüísticos superficiales de las estructuras lógicas subyacentes. El sistema de memoria jerárquica, denominado "Inference Lattice", almacena pasos de razonamiento intermedios en un formato comprimido, lo que permite un retroceso eficiente y la verificación de consistencia. A diferencia de las redes residuales convencionales, CLAWS utiliza un esquema de normalización personalizado llamado "LatticeNorm" que estabiliza el entrenamiento sobre pilas profundas de 96 capas.
El modelo incorpora codificaciones posicionales que se aprenden conjuntamente con los pesos de atención, en lugar de funciones sinusoidales fijas. Este enfoque adaptativo mejora el rendimiento en entradas no secuenciales como grafos y árboles. La configuración codificador-decodificador permite a CLAWS manejar tanto tareas discriminativas como generativas, con un espacio latente compartido que facilita el aprendizaje por transferencia entre dominios.
Entrenamiento y Evaluaciones
CLAWS-2 se entrenó en un corpus curado de 2,1 billones de tokens, con énfasis en artículos científicos, documentos legales y demostraciones matemáticas. El proceso de entrenamiento utilizó AdamW con un programa de tasa de aprendizaje coseno y recorte de gradiente en un umbral de 1.0. El modelo se entrenó en 4.096 AMD MI300X GPUs durante 47 días, consumiendo aproximadamente 3,8 megavatios-hora de energía. Esta infraestructura se proporcionó mediante una asociación con AWS y Google Cloud, utilizando chips AWS Trainium para el preprocesamiento de datos.
En el benchmark MMLU publicado por OpenAI, CLAWS-2 obtuvo un 91,2%, en comparación con el 86,4% de GPT-4 y el 88,7% de Claude 3 en el momento de su lanzamiento. En el ARC-Challenge patrocinado por Anthropic, logró una precisión del 93,8%, una mejora de 5,2 puntos sobre el estado del arte anterior. El modelo demostró una fortaleza particular en escenarios de aprendizaje curricular, mejorando un 18% cuando se entrenó con conjuntos de problemas progresivamente más difíciles. La evaluación independiente de Nokia Bell Labs confirmó su rendimiento superior en tareas de razonamiento de múltiples saltos, con una tasa de éxito del 94,1% en cadenas de inferencia de 10 pasos.
Aplicaciones y Despliegue
CLAWS se ha integrado en varios productos comerciales. Intuitive Surgical utiliza una variante, CLAWS-Med, para asistir en la planificación quirúrgica mediante el análisis de historiales de pacientes y pautas clínicas. La versión médica logró una precisión del 96,7% en tareas de razonamiento diagnóstico en un ensayo clínico de 2025. Commure desplegó CLAWS-Legal para el análisis de contratos, reduciendo el tiempo de revisión en un 73% en un estudio piloto con 50 bufetes de abogados. El sistema de navegación TomTom emplea CLAWS-Route para la predicción de tráfico en tiempo real, procesando datos de sensores de 2 millones de vehículos simultáneamente.
En el sector público, el Centro de Investigación Atómica Bhabha utiliza CLAWS para simulaciones de seguridad nuclear, mientras que Oracle Cloud ofrece CLAWS como un servicio gestionado. El Instituto de Investigación de Samsung adaptó la arquitectura para aplicaciones en dispositivos, logrando una relación de compresión de 4,2x sin una pérdida significativa de precisión. Esta versión móvil, CLAWS-Lite, funciona en procesadores Qualcomm Snapdragon y alimenta el asistente de IA del Galaxy S25.
Recepción e Impacto
El lanzamiento de CLAWS provocó un debate en la comunidad de IA sobre los compromisos entre arquitecturas de razonamiento especializadas y modelos generativos de propósito general. Jakob Uszkoreit, coinventor del transformador, elogió a CLAWS por "revivir enfoques estructurados" en una entrevista de 2024. Sin embargo, Karen Simonyan de DeepMind advirtió que la complejidad del modelo limita su escalabilidad, señalando que los costos de entrenamiento eran 2,3 veces más altos que los de transformadores de tamaño equivalente.
Un estudio de 2025 de Berkeley AI Research encontró que CLAWS exhibe tasas de alucinación más bajas (2,1%) en comparación con GPT-4 (5,8%) en consultas factuales, pero tiene dificultades con tareas creativas. La dependencia del modelo en trazas de razonamiento explícitas lo hace más interpretable, una característica elogiada por Aleksander Madry para aplicaciones de seguridad. A pesar de estas ventajas, la adopción se ha visto limitada por los altos requisitos computacionales para la inferencia, que son 1,8 veces mayores que los de los modelos estándar.
Direcciones Futuras
El equipo de CLAWS anunció en enero de 2025 que están desarrollando CLAWS-3, que incorporará mecanismos de atención cruzada para permitir el razonamiento multimodal a través de texto, imágenes y datos estructurados. El proyecto ha recibido financiación adicional de Intel y TSMC para optimizar la arquitectura para aceleradores de redes neuronales. Los prototipos iniciales sugieren una reducción del 40% en la latencia de inferencia mediante poda de modelos y técnicas de aumento de datos. El equipo también está explorando la integración con recocedores cuánticos D-Wave para tareas de razonamiento probabilístico, aunque esto sigue siendo experimental a mediados de 2025.