क्लॉड 3 हाइकु एक Large language model है जिसे Anthropic द्वारा विकसित किया गया है, और मार्च 2024 में क्लॉड 3 परिवार के सबसे छोटे और सबसे तेज़ सदस्य के रूप में पेश किया गया था। इसे तेज़ प्रतिक्रियाओं की आवश्यकता वाले अनुप्रयोगों के लिए डिज़ाइन किया गया है, जैसे ग्राहक सेवा, सामग्री मॉडरेशन, और वास्तविक समय डेटा प्रोसेसिंग, जबकि प्रदर्शन और लागत दक्षता का संतुलन बनाए रखता है। यह मॉडल एंथ्रोपिक के एपीआई के माध्यम से सुलभ है और क्लॉड उपभोक्ता अनुप्रयोगों में सुविधाओं को शक्ति प्रदान करता है, जिसमें क्लॉड चैटबॉट का मुफ्त स्तर भी शामिल है।
क्लॉड 3 हाइकु अपने सहोदर मॉडल, क्लॉड 3 ओपस और क्लॉड 3 सॉनेट के समान अंतर्निहित Transformer (architecture) वास्तुकला पर बनाया गया है, लेकिन कम पैरामीटर गणना और अनुकूलित अनुमान पाइपलाइन के साथ। यह इसे काफी कम विलंबता प्राप्त करने की अनुमति देता है, जिसमें छोटे प्रश्नों के लिए विशिष्ट प्रतिक्रिया समय एक सेकंड से कम होता है, जो इसे इंटरैक्टिव और एम्बेडेड उपयोग मामलों के लिए उपयुक्त बनाता है। एंथ्रोपिक हाइकु को पहले के मॉडल जैसे क्लॉड 2.1 के प्रतिस्थापन के रूप में स्थान देता है, उन परिदृश्यों में जहां अधिकतम तर्क गहराई पर गति को प्राथमिकता दी जाती है।
आर्किटेक्चर और प्रशिक्षण
मॉडल एक सघन Neural network का उपयोग करता है जिसमें Multi-Head Attention तंत्र शामिल है, जिसे सुपरवाइज़्ड लर्निंग और Reinforcement Learning from AI Feedback (RLAIF) (एआई फीडबैक से सुदृढीकरण सीखना) के संयोजन का उपयोग करके प्रशिक्षित किया गया है। एंथ्रोपिक ने सटीक पैरामीटर गणना का खुलासा नहीं किया है, लेकिन स्वतंत्र बेंचमार्क बताते हैं कि यह क्लॉड 3 सॉनेट से काफी छोटा है, संभवतः 20-30 बिलियन पैरामीटर की सीमा में। प्रशिक्षण डेटा में सार्वजनिक वेब टेक्स्ट, लाइसेंस प्राप्त डेटासेट, और बड़े मॉडल द्वारा उत्पन्न सिंथेटिक डेटा का मिश्रण शामिल है, जिसकी कटऑफ 2024 की शुरुआत में है।
हाइकु 200,000 टोकन की संदर्भ विंडो का उपयोग करता है, जो अन्य क्लॉड 3 मॉडल से मेल खाता है, और आउटपुट नियंत्रण के लिए Top-P (Nucleus) Sampling और Temperature Scaling का समर्थन करता है। यह प्रशिक्षण के दौरान स्थिरता और सामान्यीकरण में सुधार के लिए Layer Normalization और Dropout को भी शामिल करता है। मॉडल को एज डिवाइसों पर मेमोरी फुटप्रिंट को कम करने के लिए Model Pruning के लिए अनुकूलित किया गया है, हालांकि यह मुख्य रूप से क्लाउड इंफ्रास्ट्रक्चर पर चलता है।
प्रदर्शन और बेंचमार्क
सार्वजनिक Artificial intelligence लीडरबोर्ड पर, क्लॉड 3 हाइकु समान आकार के मॉडल, जैसे OpenAI के GPT-3.5 टर्बो, के साथ प्रतिस्पर्धात्मक प्रदर्शन करता है, जबकि तेज़ अनुमान प्रदान करता है। MMLU (मैसिव मल्टीटास्क लैंग्वेज अंडरस्टैंडिंग) बेंचमार्क में, हाइकु लगभग 75.2% स्कोर करता है, जबकि क्लॉड 3 सॉनेट 79.0% और ओपस 86.8% स्कोर करते हैं। HellaSwag सामान्य ज्ञान तर्क परीक्षण पर, यह 85.9% प्राप्त करता है, और कोड जनरेशन के लिए HumanEval पर, यह 73.0% pass@1 तक पहुंचता है। ये आंकड़े इसे तुलनीय आकार के अधिकांश ओपन-वेट मॉडल से ऊपर रखते हैं, लेकिन एंथ्रोपिक और ओपनएआई के प्रमुख मॉडल से नीचे।
स्वतंत्र परीक्षणों से विलंबता माप औसत समय-से-पहला-टोकन 0.4 सेकंड दिखाते हैं, जो 100-टोकन प्रॉम्प्ट के लिए है, जो सॉनेट से लगभग तीन गुना तेज़ है। यह हाइकु को संवादात्मक एजेंटों और वास्तविक समय अनुवाद सेवाओं के लिए विशेष रूप से प्रभावी बनाता है। हालांकि, जटिल गणितीय तर्क और बहु-चरण योजना कार्यों पर इसका प्रदर्शन काफी कमजोर है, जिसमें GSM8K बेंचमार्क पर 58.3% सटीकता है, जो गहन तार्किक अनुमान में सीमाओं को इंगित करता है।
तैनाती और उपलब्धता
क्लॉड 3 हाइकु एंथ्रोपिक के एपीआई के माध्यम से Amazon Web Services (AWS) पर Amazon Bedrock के माध्यम से और Google Cloud Vertex AI पर उपलब्ध है, साथ ही उद्यम ग्राहकों के लिए Microsoft Azure के माध्यम से भी। मॉडल एंथ्रोपिक के अपने Claude.ai प्लेटफॉर्म में भी एकीकृत है, जहां यह मुफ्त-स्तर के उपयोगकर्ताओं के लिए डिफ़ॉल्ट मॉडल के रूप में कार्य करता है। मूल्य निर्धारण $0.25 प्रति मिलियन इनपुट टोकन और $1.25 प्रति मिलियन आउटपुट टोकन पर सेट है, जो इसे अपनी श्रेणी में सबसे लागत प्रभावी मॉडलों में से एक बनाता है।
क्लाउड तैनाती के अलावा, एंथ्रोपिक ने Groq के साथ साझेदारी की है ताकि हाइकु को Groq के कस्टम अनुमान हार्डवेयर पर पेश किया जा सके, जो उच्च-थ्रूपुट अनुप्रयोगों के लिए विलंबता को और कम करता है। मॉडल ऑन-प्रिमाइसेस तैनाती के लिए SambaNova के प्लेटफॉर्म के माध्यम से भी उपलब्ध है। 2024 के अंत तक, हाइकु को कई Generative AI स्टार्टअप्स द्वारा स्वचालित ईमेल ड्राफ्टिंग, कोड पूर्णता, और उपयोगकर्ता-जनित सामग्री के मॉडरेशन जैसे उपयोग मामलों के लिए अपनाया गया है।
सीमाएं और सुरक्षा
अन्य क्लॉड मॉडल की तरह, हाइकु को हानिरहितता और असुरक्षित अनुरोधों से इनकार करने पर ध्यान केंद्रित करके प्रशिक्षित किया गया है, जिसमें संवैधानिक एआई तकनीकों और मानव फीडबैक का संयोजन शामिल है। हालांकि, इसका छोटा आकार इसे ओपस की तुलना में जेलब्रेकिंग प्रयासों के प्रति अधिक संवेदनशील बनाता है। एंथ्रोपिक ने ज्ञात विफलता मोडों का दस्तावेजीकरण करते हुए एक विस्तृत मॉडल कार्ड जारी किया है, जिसमें विशेष विषयों पर occasional तथ्यात्मक त्रुटियां और संवेदनशील विषयों के बारे में सामान्य प्रश्नों को अत्यधिक अस्वीकार करने की प्रवृत्ति शामिल है।
हाइकु छवि इनपुट का समर्थन नहीं करता है, क्लॉड 3 ओपस और सॉनेट के विपरीत, जिनमें मल्टीमॉडल क्षमताएं हैं। यह दृश्य तर्क कार्यों में इसके उपयोग को सीमित करता है। इसके अतिरिक्त, मॉडल का ज्ञान कटऑफ जनवरी 2024 है, जिसका अर्थ है कि यह बाहरी पुनर्प्राप्ति वृद्धि के बिना उस तारीख के बाद की घटनाओं के बारे में जानकारी प्रदान नहीं कर सकता है।
पूर्ववर्तियों के साथ तुलना
क्लॉड 3 हाइकु क्लॉड 2.1 का प्रत्यक्ष उत्तराधिकारी है, जो एंथ्रोपिक का पिछला कॉम्पैक्ट मॉडल था। क्लॉड 2.1 की तुलना में, हाइकु विलंबता में 50% कमी और मानक बेंचमार्क पर 20% सुधार प्रदान करता है, जबकि समान संदर्भ विंडो बनाए रखता है। पुराने Encoder-Decoder Architecture वास्तुकला से शुद्ध डिकोडर-केवल डिज़ाइन में बदलाव ने इन लाभों में योगदान दिया। एंथ्रोपिक ने यह भी कहा है कि हाइकु प्रारूपण निर्देशों का पालन करने में अधिक विश्वसनीय है, जो पहले के मॉडलों में एक सामान्य कमजोरी थी।
मॉडल की रिलीज़ बाजार को विभाजित करने की एक व्यापक रणनीति का हिस्सा थी, जिसमें ओपस उच्च-दांव तर्क को लक्षित करता है, सॉनेट संतुलित प्रदर्शन के लिए, और हाइकु लागत-संवेदनशील, उच्च-मात्रा अनुप्रयोगों के लिए। यह ओपनएआई द्वारा अपने GPT-3.5 और GPT-4 लाइनअप के साथ समान स्तरीकरण को दर्शाता है, हालांकि एंथ्रोपिक हाइकु के बेहतर गति-से-लागत अनुपात पर जोर देता है।
भविष्य की दिशाएं
एंथ्रोपिक ने क्लॉड 3 हाइकु के लिए एक विशिष्ट उत्तराधिकारी की घोषणा नहीं की है, लेकिन कंपनी का शोध रोडमैप बताता है कि भविष्य के कॉम्पैक्ट मॉडल अधिक कुशल ध्यान तंत्र और संभवतः मल्टीमॉडल इनपुट के लिए Cross-Attention शामिल करेंगे। हाइकु की सफलता ने हार्डवेयर विक्रेताओं को भी प्रभावित किया है, जिसमें AMD और Intel मॉडल के अनुमान पैटर्न के लिए अपने एक्सेलेरेटर को अनुकूलित कर रहे हैं। 2025 की शुरुआत तक, हाइकु उत्पादन वातावरण में गति और क्षमता का संतुलन चाहने वाले डेवलपर्स के लिए एक लोकप्रिय विकल्प बना हुआ है।