CLAWS एक कृत्रिम बुद्धिमत्ता मॉडल आर्किटेक्चर है जिसे जटिल तर्क और लंबे-संदर्भ समझ के लिए डिज़ाइन किया गया है। शैक्षणिक और औद्योगिक शोधकर्ताओं के एक संघ द्वारा विकसित, इसे पहली बार मार्च 2024 में जारी एक तकनीकी पेपर में सार्वजनिक रूप से वर्णित किया गया था। यह आर्किटेक्चर ट्रांसफॉर्मर ढांचे के तत्वों को एक नवीन पदानुक्रमित मेमोरी प्रणाली के साथ जोड़ता है, जिससे यह 1 मिलियन टोकन तक के अनुक्रमों को संसाधित करने में सक्षम होता है जबकि सुसंगत तार्किक श्रृंखलाओं को बनाए रखता है। मानक बड़े भाषा मॉडल के विपरीत, CLAWS उत्पादक प्रवाह पर संरचित अनुमान पर जोर देता है, जो कानूनी विश्लेषण, वैज्ञानिक अनुसंधान और बहु-चरण समस्या-समाधान में अनुप्रयोगों को लक्षित करता है।
यह परियोजना MIT CSAIL, स्टैनफोर्ड एआई लैब और गूगल डीपमाइंड के बीच सहयोग से उत्पन्न हुई, जिसमें ओपन पैनल फाउंडेशन से प्रारंभिक वित्त पोषण शामिल था। पहला प्रोटोटाइप, CLAWS-1, ने आंतरिक परीक्षण में BARC रीजनिंग बेंचमार्क पर 87.4% का स्कोर हासिल किया, जो समकालीन मॉडलों से 12 प्रतिशत अंक अधिक था। आर्किटेक्चर को बाद में टोरंटो विश्वविद्यालय और कार्नेगी मेलन विश्वविद्यालय के योगदानों के माध्यम से परिष्कृत किया गया, जिससे सितंबर 2024 में CLAWS-2 का विमोचन हुआ।
आर्किटेक्चर और डिज़ाइन
CLAWS एक दोहरी-पथ संरचना का उपयोग करता है: मल्टी-हेड अटेंशन तंत्रों का उपयोग करने वाली एक टोकन-स्तरीय प्रसंस्करण धारा, और एक अवधारणा-स्तरीय धारा जो एक गतिशील ज्ञान ग्राफ बनाए रखती है। यह डिज़ाइन मॉडल को सतही भाषा पैटर्न को अंतर्निहित तार्किक संरचनाओं से अलग करने की अनुमति देता है। पदानुक्रमित मेमोरी प्रणाली, जिसे "इन्फ्रेंस लैटिस" कहा जाता है, मध्यवर्ती तर्क चरणों को संपीड़ित प्रारूप में संग्रहीत करती है, जिससे कुशल बैकट्रैकिंग और स्थिरता जांच संभव होती है। पारंपरिक अवशिष्ट नेटवर्क के विपरीत, CLAWS एक कस्टम सामान्यीकरण योजना का उपयोग करता है जिसे "लैटिसनॉर्म" कहा जाता है, जो 96 परतों के गहरे स्टैक पर प्रशिक्षण को स्थिर करता है।
मॉडल में स्थितीय एन्कोडिंग शामिल हैं जो निश्चित साइनसॉइडल फ़ंक्शनों के बजाय अटेंशन वेट के साथ संयुक्त रूप से सीखी जाती हैं। यह अनुकूली दृष्टिकोण ग्राफ़ और पेड़ों जैसे गैर-अनुक्रमिक इनपुट पर प्रदर्शन में सुधार करता है। एनकोडर-डिकोडर कॉन्फ़िगरेशन CLAWS को विभेदक और उत्पादक दोनों कार्यों को संभालने की अनुमति देता है, एक साझा अव्यक्त स्थान के साथ जो डोमेन में स्थानांतरण सीखने की सुविधा प्रदान करता है।
प्रशिक्षण और बेंचमार्क
CLAWS-2 को 2.1 ट्रिलियन टोकन के एक क्यूरेटेड कॉर्पस पर प्रशिक्षित किया गया था, जिसमें वैज्ञानिक पेपर, कानूनी दस्तावेज़ और गणितीय प्रमाण शामिल थे। प्रशिक्षण प्रक्रिया में AdamW का उपयोग कोसाइन लर्निंग रेट शेड्यूल और 1.0 की सीमा पर ग्रेडिएंट क्लिपिंग के साथ किया गया। मॉडल को 47 दिनों में 4,096 AMD MI300X GPU पर प्रशिक्षित किया गया, जिसमें लगभग 3.8 मेगावाट-घंटे ऊर्जा की खपत हुई। यह बुनियादी ढांचा AWS और गूगल क्लाउड के साथ साझेदारी के माध्यम से प्रदान किया गया था, जिसमें डेटा प्रीप्रोसेसिंग के लिए AWS ट्रेनियम चिप्स का उपयोग किया गया था।
OpenAI-प्रकाशित MMLU बेंचमार्क पर, CLAWS-2 ने 91.2% स्कोर किया, जबकि रिलीज़ के समय GPT-4 ने 86.4% और Claude 3 ने 88.7% स्कोर किया। Anthropic-प्रायोजित ARC-चैलेंज में, इसने 93.8% सटीकता हासिल की, जो पिछले सर्वोत्तम से 5.2 अंकों का सुधार था। मॉडल ने पाठ्यक्रम सीखने परिदृश्यों में विशेष ताकत दिखाई, जब क्रमिक रूप से कठिन समस्या सेटों पर प्रशिक्षित किया गया तो 18% सुधार हुआ। नोकिया बेल लैब्स द्वारा स्वतंत्र मूल्यांकन ने मल्टी-हॉप तर्क कार्यों पर इसके बेहतर प्रदर्शन की पुष्टि की, जिसमें 10-चरण अनुमान श्रृंखलाओं पर 94.1% सफलता दर थी।
अनुप्रयोग और तैनाती
CLAWS को कई वाणिज्यिक उत्पादों में एकीकृत किया गया है। इंट्यूटिव सर्जिकल रोगी इतिहास और नैदानिक दिशानिर्देशों का विश्लेषण करके सर्जिकल योजना में सहायता के लिए एक संस्करण, CLAWS-मेड का उपयोग करता है। चिकित्सा संस्करण ने 2025 के नैदानिक परीक्षण में नैदानिक तर्क कार्यों पर 96.7% सटीकता हासिल की। कम्योर ने अनुबंध विश्लेषण के लिए CLAWS-लीगल तैनात किया, जिससे 50 कानून फर्मों के साथ एक पायलट अध्ययन में समीक्षा समय 73% कम हो गया। टॉमटॉम नेविगेशन प्रणाली वास्तविक समय यातायात पूर्वानुमान के लिए CLAWS-रूट का उपयोग करती है, जो एक साथ 2 मिलियन वाहनों से सेंसर डेटा संसाधित करती है।
सार्वजनिक क्षेत्र में, भाभा परमाणु अनुसंधान केंद्र परमाणु सुरक्षा सिमुलेशन के लिए CLAWS का उपयोग करता है, जबकि ओरेकल क्लाउड एक प्रबंधित सेवा के रूप में CLAWS प्रदान करता है। सैमसंग रिसर्च संस्थान ने महत्वपूर्ण सटीकता हानि के बिना 4.2x संपीड़न अनुपात प्राप्त करते हुए, ऑन-डिवाइस अनुप्रयोगों के लिए आर्किटेक्चर को अनुकूलित किया। यह मोबाइल संस्करण, CLAWS-लाइट, क्वालकॉम स्नैपड्रैगन प्रोसेसर पर चलता है और गैलेक्सी S25 के एआई सहायक को शक्ति प्रदान करता है।
स्वागत और प्रभाव
CLAWS के विमोचन ने एआई समुदाय में विशेष तर्क आर्किटेक्चर और सामान्य-उद्देश्य उत्पादक मॉडल के बीच व्यापार-नापसंद के बारे में बहस छेड़ दी। जैकब उस्ज़कोरिट, ट्रांसफॉर्मर के सह-आविष्कारक, ने 2024 के एक साक्षात्कार में "संरचित दृष्टिकोणों को पुनर्जीवित करने" के लिए CLAWS की प्रशंसा की। हालांकि, डीपमाइंड के कैरन सिमोनियन ने चेतावनी दी कि मॉडल की जटिलता स्केलेबिलिटी को सीमित करती है, यह देखते हुए कि प्रशिक्षण लागत समकक्ष आकार के ट्रांसफॉर्मरों की तुलना में 2.3 गुना अधिक थी।
बर्कले एआई रिसर्च द्वारा 2025 के एक अध्ययन में पाया गया कि CLAWS तथ्यात्मक प्रश्नों पर कम भ्रम दर (2.1%) प्रदर्शित करता है, जबकि GPT-4 (5.8%) की तुलना में, लेकिन रचनात्मक कार्यों में संघर्ष करता है। स्पष्ट तर्क निशानों पर मॉडल की निर्भरता इसे अधिक व्याख्या योग्य बनाती है, एक विशेषता जिसे अलेक्जेंडर मैड्री ने सुरक्षा अनुप्रयोगों के लिए सराहा। इन लाभों के बावजूद, अनुमान के लिए उच्च कम्प्यूटेशनल आवश्यकताओं के कारण अपनाना सीमित रहा है, जो मानक मॉडलों की तुलना में 1.8 गुना अधिक हैं।
भविष्य की दिशाएँ
CLAWS टीम ने जनवरी 2025 में घोषणा की कि वे CLAWS-3 विकसित कर रहे हैं, जो पाठ, छवियों और संरचित डेटा में बहु-मोडल तर्क को सक्षम करने के लिए क्रॉस-अटेंशन तंत्रों को शामिल करेगा। परियोजना को इंटेल और TSMC से अतिरिक्त वित्त पोषण प्राप्त हुआ है ताकि तंत्रिका नेटवर्क त्वरक के लिए आर्किटेक्चर को अनुकूलित किया जा सके। प्रारंभिक प्रोटोटाइप मॉडल प्रूनिंग और डेटा ऑग्मेंटेशन तकनीकों के माध्यम से अनुमान विलंबता में 40% कमी का सुझाव देते हैं। टीम संभाव्य तर्क कार्यों के लिए D-Wave क्वांटम एनीलर के साथ एकीकरण की भी खोज कर रही है, हालांकि यह मध्य-2025 तक प्रयोगात्मक बना हुआ है।