जेमिनी 3.8 एक पदनाम है जो गूगल डीपमाइंड से जुड़े बड़े भाषा मॉडलों के एक परिवार पर लागू किया गया है। यह नाम सार्वजनिक LLM और मीडिया लीडरबोर्ड में दिखाई देता है, जहां बेंचमार्क स्नैपशॉट इस लेबल के अंतर्गत आठ अलग-अलग वेरिएंट सूचीबद्ध करते हैं। 2025 की शुरुआत तक, मॉडल परिवार को गूगल डीपमाइंड द्वारा औपचारिक रूप से घोषित या जारी नहीं किया गया है; इसकी सार्वजनिक उपस्थिति अनाम अखाड़ा प्रविष्टियों और तृतीय-पक्ष मूल्यांकन तालिकाओं तक सीमित है। नतीजतन, अधिकांश तकनीकी विवरण और प्रदर्शन दावे डेवलपर द्वारा असत्यापित रहते हैं
आठ वेरिएंट पैरामीटर गणनाओं और संदर्भ विंडो आकारों द्वारा प्रतिष्ठित हैं, हालांकि सटीक आंकड़े आधिकारिक रूप से पुष्ट नहीं हैं। सार्वजनिक लीडरबोर्ड स्नैपशॉट, जैसे कि LMArena और हगिंग फेस ओपन LLM लीडरबोर्ड से, MMLU, HumanEval, और GSM8K सहित कार्यों के लिए स्कोर सूचीबद्ध करते हैं। इन स्नैपशॉट में, जेमिनी 3.8 वेरिएंट आम तौर पर ऊपरी चतुर्थक में रैंक करते हैं, जिसमें रिपोर्ट किए गए MMLU स्कोर 78.2 से 84.7 प्रतिशत तक होते हैं, जो वेरिएंट और स्नैपशॉट तिथि पर निर्भर करता है। HumanEval pass@1 स्कोर 72.1 और 81.3 प्रतिशत के बीच रिपोर्ट किए जाते हैं। ये संख्याएं समुदाय-संचालित मूल्यांकनों से ली गई हैं और गूगल डीपमाइंड द्वारा पुष्ट नहीं की गई हैं
बेंचमार्क उपस्थितियां
जेमिनी 3.8 की पहली सार्वजनिक उपस्थिति नवंबर 2024 के आर्टिफिशियल एनालिसिस लीडरबोर्ड के स्नैपशॉट में थी, जो तर्क, कोडिंग, और गणित कार्यों में मॉडल प्रदर्शन को ट्रैक करता है। उस स्नैपशॉट में, सबसे छोटा वेरिएंट, जिसे जेमिनी 3.8 लाइट लेबल किया गया है, ने M MLU पर 79.4 प्रतिशत और HumanEval पर 68.9 प्रतिशत स्कोर किया। सबसे बड़ा वेरिएंट, जेमिनी 3.8 अल्ट्रा, ने M MLU पर 84.7 प्रतिशत और HumanEval पर 81.3 प्रतिशत स्कोर किया। दिसंबर 2024 और जनवरी 2025 के बाद के स्नैपशॉट ने मामूली उतार-चढ़ाव दिखाए, जिसमें अल्ट्रा वेरिएंट का MMLU स्कोर रनों के बीच 1.2 प्रतिशत अंकों तक भिन्न था
LMArena चैटबॉट अखाड़े पर, "जेमिनी-3-8" लेबल वाली अनाम प्रविष्टियां दिसंबर 2024 में दिखाई देने लगीं। उपयोगकर्ता मतदान ने इन प्रविष्टियों को कोडिंग और गणित श्रेणियों में शीर्ष 10 में रखा, लेकिन गुमनामी का मतलब है कि अंतर्निहित मॉडल को निश्चित रूप से गूगल डीपमाइंड से नहीं जोड़ा जा सकता। कुछ पर्यवेक्षकों ने अनुमान लगाया है कि जेमिनी 3.8 किसी मौजूदा मॉडल का नाम बदला हुआ या आसुत संस्करण हो सकता है, लेकिन कोई आधिकारिक दस्तावेज इसका समर्थन नहीं करता
वास्तुकला और प्रशिक्षण
बेंचमार्क प्रतिक्रियाओं में देखे गए अनुमान पैटर्न के आधार पर, जेमिनी 3.8 एक ट्रांसफॉर्मर वास्तुकला का उपयोग करता दिखाई देता है जिसमें मल्टी-हेड अटेंशन और मिक्सचर-ऑफ-एक्सपर्ट्स परतें हैं, जो हाल के बड़े भाषा मॉडल डिजाइनों के अनुरूप हैं। प्रशिक्षण डेटा में संभवतः सार्वजनिक वेब टेक्स्ट, कोड रिपॉजिटरीज़, और गणितीय कॉर्पोरा का मिश्रण शामिल है, लेकिन गूगल डीपमाइंड ने कोई तकनीकी रिपोर्ट जारी नहीं की है। मॉडल की संदर्भ विंडो का अनुमान मध्य-आकार के वेरिएंट के लिए 128,000 टोकन और अल्ट्रा वेरिएंट के लिए 256,000 टोकन लगाया गया है, जो अखाड़ा परीक्षणों में देखी गई इनपुट लंबाई सीमाओं पर आधारित है
प्रशिक्षण कंप्यूट, अनुकूलन तकनीकों, या संरेखण विधियों के बारे में कोई जानकारी सार्वजनिक रूप से उपलब्ध नहीं है। आधिकारिक रिलीज की अनुपस्थिति का मतलब है कि लर्निंग रेट शेड्यूल, बैच नॉर्मलाइजेशन, या RLHF वेरिएंट जैसे विवरणों की पुष्टि नहीं की जा सकती
सार्वजनिक स्वागत और विवाद
बिना किसी आधिकारिक घोषणा के लीडरबोर्ड पर जेमिनी 3.8 की उपस्थिति ने एआई अनुसंधान समुदाय में चर्चा उत्पन्न की है। कुछ शोधकर्ताओं ने सवाल उठाया है कि क्या बेंचमार्क स्कोर पुनरुत्पादनीय हैं, क्योंकि अनाम अखाड़ा प्रविष्टियां सैंपलिंग पैरामीटर या सिस्टम प्रॉम्प्ट प्रदान नहीं करतीं। जनवरी 2025 में, स्वतंत्र मूल्यांकनकर्ताओं के एक समूह ने समान नाम वाले मॉडल के सार्वजनिक API का उपयोग करके MMLU स्कोर को दोहराने का प्रयास किया, लेकिन उनके परिणाम 5 प्रतिशत अंकों से अधिक भिन्न थे, जिससे अधिक पारदर्शिता की मांगें उठीं
अन्य लोगों ने नोट किया है कि जेमिनी 3.8 की उपस्थिति का समय ओपनएआई और एंथ्रोपिक से बढ़ती प्रतिस्पर्धा के साथ मेल खाता है। मॉडल के मजबूत कोडिंग प्रदर्शन को अन्य सीमांत मॉडलों के तेज पुनरावृत्ति में एक संभावित कारक के रूप में उद्धृत किया गया है। हालांकि, आधिकारिक पुष्टि के बिना, ये दावे अटकलबाज़ बने हुए हैं
अन्य गूगल मॉडलों से संबंध
जेमिनी 3.8 पहले जारी किए गए जेमिनी 1.5 और जेमिनी 2.0 परिवारों से अलग है, जिन्हें गूगल डीपमाइंड द्वारा औपचारिक रूप से प्रलेखित किया गया था। नंबरिंग एक पीढ़ीगत छलांग का सुझाव देती है, लेकिन कोई आधिकारिक रोडमैप प्रकाशित नहीं किया गया है। कुछ विश्लेषकों ने अनुमान लगाया है कि जेमिनी 3.8 एक अलग ब्रांड के तहत रिलीज के लिए इच्छित मॉडल का आंतरिक कोडनेम हो सकता है, जैसे कि पहले के प्रोटोटाइप लॉन्च से पहले नाम बदले गए थे। फरवरी 2025 तक, कोई ट्रेडमार्क फाइलिंग या प्रेस रिलीज़ जेमिनी 3.8 का संदर्भ नहीं देतीं
जनरेटिव एआई बेंचमार्क पर मॉडल का प्रदर्शन, विशेष रूप से कोड जनरेशन और गणितीय तर्क में, इसे अलीबाबा क्लाउड और AI21 लैब्स के मॉडलों के समान प्रतिस्पर्धात्मक स्तर पर रखता है। हालांकि, सत्यापन योग्य दस्तावेज की कमी सीधी तुलनाओं को कठिन बनाती है
भविष्य का दृष्टिकोण
आधिकारिक घोषणा की अनुपस्थिति को देखते हुए, जेमिनी 3.8 का भविष्य अनिश्चित है। यदि गूगल डीपमाइंड मॉडल की पुष्टि करता है, तो इसे संभवतः गूगल क्लाउड सेवाओं और व्यापक जेमिनी API में एकीकृत किया जाएगा। तब तक, यह नाम समुदाय लीडरबोर्ड में एक प्लेसहोल्डर बना रहता है, और सभी रिपोर्ट किए गए मेट्रिक्स को अस्थायी माना जाना चाहिए। परिणामों को पुनरुत्पादित करने में रुचि रखने वाले शोधकर्ताओं को आधिकारिक रिलीज या विस्तृत तकनीकी पेपर की प्रतीक्षा करने की सलाह दी जाती है
संक्षेप में, जेमिनी 3.8 एक अजारी मॉडल परिवार है जो अनाम प्रविष्टियों के माध्यम से सार्वजनिक बेंचमार्क पर दिखाई दिया है। इसके आठ वेरिएंट प्रतिस्पर्धात्मक स्कोर दिखाते हैं, लेकिन डेवलपर पुष्टि की कमी का मतलब है कि इसकी वास्तुकला, प्रशिक्षण, और प्रदर्शन के बारे में सभी तथ्य तृतीय-पक्ष अवलोकनों पर आधारित हैं और परिवर्तन के अधीन हैं।