Dolly एक निर्देश-ट्यून किया गया बड़ा भाषा मॉडल है, जिसे Databricks द्वारा विकसित किया गया था और पहली बार मार्च 2023 में जारी किया गया था। इसने प्रदर्शित किया कि एक अपेक्षाकृत छोटा मॉडल, एक साधारण डेटासेट पर फाइन-ट्यून किया गया, सक्षम निर्देश-अनुसरण व्यवहार प्राप्त कर सकता है, जिससे यह धारणा चुनौतीपूर्ण हो गई कि ऐसी क्षमताओं के लिए विशाल पैमाने और व्यापक मालिकाना डेटा आवश्यक थे। इस परियोजना का उद्देश्य यह दिखाकर उद्यमों के लिए LLM अनुकूलन को सुलभ बनाना था कि फाइन-ट्यूनिंग एक ही मशीन पर कम समय में की जा सकती है।
प्रारंभिक संस्करण, Dolly 1.0, EleutherAI के GPT-J 6B मॉडल पर आधारित था और Databricks कर्मचारियों द्वारा उत्पन्न लगभग 15,000 निर्देश-प्रतिक्रिया जोड़ों के डेटासेट पर फाइन-ट्यून किया गया था। इसके बाद अप्रैल 2023 में Dolly 2.0 आया, जिसने उसी आधार मॉडल का उपयोग किया लेकिन एक बड़ा, ओपन-सोर्स डेटासेट पेश किया, जिसमें 15,000 जोड़े थे, जो एक अनुमेय लाइसेंस के तहत जारी किए गए थे। Dolly 2.0 पूरी तरह से खुले प्रशिक्षण डेटासेट वाले पहले ओपन-सोर्स निर्देश-ट्यून किए गए मॉडलों में से एक होने के लिए उल्लेखनीय बन गया, जिससे शोधकर्ताओं को कार्य को दोहराने और उस पर निर्माण करने की अनुमति मिली।
तकनीकी दृष्टिकोण
Dolly के प्रशिक्षण में निर्देश ट्यूनिंग नामक एक तकनीक का उपयोग किया गया, जहां एक पूर्व-प्रशिक्षित भाषा मॉडल को निर्देशों और संबंधित प्रतिक्रियाओं के उदाहरणों पर फाइन-ट्यून किया जाता है। यह प्रक्रिया मॉडल के व्यवहार को उपयोगकर्ता के इरादे के साथ संरेखित करती है, जिससे यह सारांशीकरण, प्रश्न उत्तर, और पाठ निर्माण जैसे विभिन्न कार्यों में संकेतों का पालन करने में सक्षम होता है। फाइन-ट्यूनिंग ने एक मानक पर्यवेक्षित शिक्षण उद्देश्य का उपयोग किया, जिसमें निर्देश दिए जाने पर प्रतिक्रिया टोकन की भविष्यवाणी करने के लिए मॉडल को अनुकूलित किया गया। Databricks ने प्रशिक्षण पाइपलाइन को प्रबंधित करने के लिए अपने स्वयं के मशीन लर्निंग प्लेटफॉर्म का उपयोग किया, लेकिन मॉडल को कमोडिटी हार्डवेयर पर चलाने के लिए डिज़ाइन किया गया था, जिसमें अनुमान के लिए एकल Nvidia A10 GPU शामिल था।
आधार मॉडल, GPT-J, एक ट्रांसफॉर्मर-आधारित वास्तुकला है जिसमें 6 बिलियन पैरामीटर हैं, जो Pile डेटासेट पर प्रशिक्षित है। Dolly के फाइन-ट्यूनिंग ने आधार वास्तुकला को नहीं बदला, लेकिन निर्देश अनुसरण में विशेषज्ञता के लिए वजन को समायोजित किया। यह दृष्टिकोण ओपनएआई या एंथ्रोपिक जैसे बड़े मॉडलों के विपरीत था, जिन्हें अक्सर विशाल कम्प्यूटेशनल संसाधनों और मालिकाना प्रशिक्षण डेटा की आवश्यकता होती है।
रिलीज़ और प्रभाव
Dolly को Apache 2.0 लाइसेंस के तहत जारी किया गया था, जिससे यह वाणिज्यिक और शोध उपयोग के लिए स्वतंत्र रूप से उपलब्ध हो गया। साथ में आने वाला डेटासेट, जिसे 'databricks-dolly-15k' कहा जाता है, भी ओपन-सोर्स किया गया था, जो उस समय दुर्लभ था। इस खुलेपन ने मशीन लर्निंग समुदाय को निर्देश ट्यूनिंग के प्रभावों का अध्ययन करने और व्युत्पन्न मॉडल बनाने की अनुमति दी। Dolly की रिलीज़ ने AI के लोकतंत्रीकरण के बारे में चर्चाएँ शुरू कीं, क्योंकि इसने दिखाया कि विशाल संसाधनों के बिना संगठन सक्षम सहायक बना सकते हैं।
हालांकि, Dolly का प्रदर्शन GPT-3.5 या Claude जैसे अत्याधुनिक मॉडलों के बराबर नहीं था, और इसमें जटिल तर्क और तथ्यात्मक सटीकता में सीमाएँ प्रदर्शित हुईं। फिर भी, इसने कुशल फाइन-ट्यूनिंग के लिए एक अवधारणा प्रमाण के रूप में कार्य किया, जिसने बाद के ओपन-सोर्स प्रयासों जैसे Alpaca और Vicuna को प्रभावित किया। Databricks ने Dolly को उद्यमों के लिए अपने स्वयं के डेटा का उपयोग करके कस्टम AI सहायक बनाने के लिए एक उपकरण के रूप में स्थापित किया, इसे अपने lakehouse आर्किटेक्चर के साथ एकीकृत किया।
स्वागत और विरासत
Dolly को रिलीज़ पर महत्वपूर्ण मीडिया ध्यान मिला, तकनीकी प्रेस में कवरेज ने इसकी कम प्रशिक्षण लागत (रिपोर्ट के अनुसार कंप्यूट के लिए $30 से कम) और इस धारणा को चुनौती देने पर प्रकाश डाला कि केवल तकनीकी दिग्गज ही LLM विकसित कर सकते हैं। मॉडल को इसकी पारदर्शिता के लिए सराहा गया, लेकिन कुछ आलोचकों ने नोट किया कि इसकी क्षमताएँ वाणिज्यिक पेशकशों की तुलना में सीमित थीं। समय के साथ, Dolly को अधिक शक्तिशाली ओपन मॉडलों द्वारा प्रतिस्थापित किया गया, लेकिन इसका डेटासेट और पद्धति शोध में उपयोग जारी रही।
Databricks ने बाद में Dolly को अपने प्लेटफॉर्म में एकीकृत किया, जिससे ग्राहकों को विशिष्ट उपयोग मामलों के लिए मॉडल को फाइन-ट्यून और तैनात करने की अनुमति मिली। इस परियोजना ने ओपन-सोर्स LLM विकास के व्यापक रुझान में भी योगदान दिया, छोटे मॉडलों पर निर्देश ट्यूनिंग के साथ आगे प्रयोग को प्रोत्साहित किया। 2025 तक, Dolly को सुलभ AI के विकास में एक ऐतिहासिक मील का पत्थर माना जाता है, हालांकि इसे अब सक्रिय रूप से विकसित नहीं किया जा रहा है।
यह भी देखें
- जनरेटिव एआई
- गहन शिक्षण
- तंत्रिका नेटवर्क
- अमेज़न वेब सेवाएँ (क्लाउड-आधारित LLM तैनाती के लिए)
संदर्भ
(नोट: यह लेख सार्वजनिक रूप से उपलब्ध जानकारी पर आधारित है और बाहरी स्रोतों का हवाला नहीं देता है।)