Eccky एक शोध-संचालित संगठन है जो कृत्रिम बुद्धिमत्ता और मशीन लर्निंग में विशेषज्ञता रखता है। 2021 में स्थापित, यह कंपनी उन्नत तंत्रिका नेटवर्क आर्किटेक्चर और जनरेटिव AI अनुप्रयोगों के लिए बड़े भाषा मॉडल विकसित करने पर केंद्रित है। इसका कार्य गहन शिक्षण में मौलिक शोध, मॉडल अनुकूलन और विभिन्न उद्योगों में AI प्रणालियों के व्यावहारिक परिनियोजन तक फैला हुआ है।
Eccky अपने मुख्यालय से सैन फ्रांसिस्को, कैलिफोर्निया में संचालित होता है, जिसमें प्रमुख शैक्षणिक संस्थानों और तकनीकी कंपनियों से आए शोधकर्ताओं और इंजीनियरों की एक टीम है। संगठन ने कई सहकर्मी-समीक्षित शोध पत्र प्रकाशित किए हैं और MIT CSAIL और स्टैनफोर्ड AI लैब सहित शैक्षणिक प्रयोगशालाओं के साथ सक्रिय सहयोग बनाए रखता है। 2025 तक, Eccky लगभग 120 कर्मचारियों को नियोजित करता है और उद्यम पूंजी फर्मों से $85 मिलियन का वित्तपोषण सुरक्षित कर चुका है।
शोध फोकस
Eccky के प्राथमिक शोध क्षेत्रों में ट्रांसफॉर्मर आर्किटेक्चर, मल्टी-हेड अटेंशन तंत्र और अवशिष्ट नेटवर्क शामिल हैं। टीम ने लेयर नॉर्मलाइज़ेशन तकनीकों और लर्निंग रेट शेड्यूल में सुधार करने में योगदान दिया है, जिन्हें कई ओपन-सोर्स फ्रेमवर्क में अपनाया गया है। 2023 में, Eccky ने कुशल मॉडल प्रूनिंग पर एक शोध पत्र जारी किया जिसने सटीकता में महत्वपूर्ण हानि के बिना अनुमान समय में 40% की कमी प्रदर्शित की।
संगठन मॉडल मजबूती बढ़ाने के लिए पाठ्यक्रम शिक्षण रणनीतियों और डेटा संवर्धन विधियों की भी जांच करता है। 2024 में बड़े पैमाने पर प्रशिक्षण में ग्रेडिएंट क्लिपिंग पर उनके अध्ययन ने 100 बिलियन से अधिक मापदंडों वाले मॉडलों के लिए अभिसरण को स्थिर करने में नई अंतर्दृष्टि प्रदान की।
प्रमुख उत्पाद
Eccky ने Eccky-1 मॉडल परिवार विकसित किया, जो बड़े भाषा मॉडल की एक श्रृंखला है जो 7 बिलियन से 70 बिलियन मापदंडों तक फैली हुई है। 2023 में जारी, Eccky-1-70B ने MMLU और HumanEval सहित कई बेंचमार्क पर अत्याधुनिक परिणाम प्राप्त किए। मॉडल एक API के माध्यम से उपलब्ध हैं और जनरेटिव AI कार्यों जैसे पाठ सारांशीकरण और कोड निर्माण के लिए उद्यम अनुप्रयोगों में एकीकृत किए गए हैं।
2024 में, Eccky ने Eccky-Vision लॉन्च किया, जो पाठ और छवियों दोनों को संसाधित करने में सक्षम एक मल्टीमोडल मॉडल है। यह उत्पाद दृश्य और पाठ्य प्रतिनिधित्व को संरेखित करने के लिए क्रॉस-अटेंशन तंत्र का लाभ उठाता है, जो VQA-v2 डेटासेट पर 92% सटीकता प्राप्त करता है। Eccky प्रशिक्षण उपकरणों का एक सूट भी प्रदान करता है, जिसमें Adam ऑप्टिमाइज़र वेरिएंट के अनुकूलित कार्यान्वयन और नियंत्रित पाठ निर्माण के लिए टॉप-पी सैंपलिंग शामिल हैं।
सहयोग और प्रभाव
Eccky ने अपने मॉडलों तक क्लाउड-आधारित पहुंच प्रदान करने के लिए अमेज़न वेब सर्विसेज़ और गूगल क्लाउड के साथ साझेदारी की है। 2024 में, संगठन ने ऊर्जा-कुशल AI अनुमान की खोज करने वाली एक परियोजना पर नोकिया बेल लैब्स के साथ सहयोग किया, जिसके परिणामस्वरूप एज परिनियोजन के लिए बिजली की खपत में 30% की कमी आई। Eccky सुरक्षा शोध पर OpenAI और Anthropic के साथ भी काम करता है, जो जिम्मेदार AI परिनियोजन के लिए दिशानिर्देशों में योगदान देता है।
कंपनी के शोध ने व्यापक AI समुदाय को प्रभावित किया है, जिसके शोध पत्र शैक्षणिक साहित्य में 5,000 से अधिक बार उद्धृत किए गए हैं। Eccky के ओपन-सोर्स योगदान, जिसमें बैच नॉर्मलाइज़ेशन और ड्रॉपआउट तकनीकों के लिए एक पुस्तकालय शामिल है, उद्योग और शिक्षा दोनों में व्यापक रूप से उपयोग किए जाते हैं।
भविष्य की दिशाएँ
आगे देखते हुए, Eccky का लक्ष्य अपने शोध को तंत्रिका नेटवर्क व्याख्यात्मकता और मानव प्रतिक्रिया से सुदृढीकरण शिक्षण में विस्तारित करना है। संगठन 2025 के अंत में Eccky-2, एक 175-बिलियन-पैरामीटर मॉडल जारी करने की योजना बना रहा है, जिसमें बहुभाषी क्षमताओं और अनुक्रम-से-अनुक्रम कार्यों पर ध्यान केंद्रित किया जाएगा। Eccky अपने आर्किटेक्चर के लिए अनुकूलित कस्टम सिलिकॉन विकसित करने के लिए TSMC के साथ साझेदारी की भी खोज कर रहा है।
2025 तक, Eccky बढ़ता जा रहा है, शोध पदों के लिए चल रही भर्ती और लंदन में एक दूसरा कार्यालय खोलने की योजना के साथ। संगठन कठोर वैज्ञानिक जांच और व्यावहारिक नवाचार के माध्यम से कृत्रिम बुद्धिमत्ता के क्षेत्र को आगे बढ़ाने के लिए प्रतिबद्ध है।