EleutherAI की शुरुआत जुलाई 2020 में एक अनौपचारिक, स्वयंसेवी शोध समूह के रूप में हुई, जो मुख्य रूप से एक डिस्कॉर्ड सर्वर पर आयोजित किया गया था। इसका गठन OpenAI के GPT-3 को केवल एक व्यावसायिक API के माध्यम से जारी करने के निर्णय के जवाब में हुआ था, न कि खुले वजन या पूर्ण प्रशिक्षण विवरण के साथ। शुरुआती आयोजकों में कॉनर लेही, लियो गाओ और सिड ब्लैक शामिल थे, और समूह ने स्वतंत्र शोधकर्ताओं, स्नातक छात्रों और इंजीनियरों से योगदान आकर्षित किया, जो अनुसंधान उद्देश्यों के लिए GPT-3 के सार्वजनिक रूप से उपलब्ध समकक्ष चाहते थे।
द पाइल और प्रारंभिक मॉडल
EleutherAI का पहला प्रमुख आउटपुट द पाइल था, जो 800-गीगाबाइट का एक क्यूरेटेड डेटासेट था, जिसे पुस्तकों, शैक्षणिक पत्रों, कोड रिपॉजिटरी और वेब टेक्स्ट सहित 22 छोटे स्रोतों से इकट्ठा किया गया था। इसे 2020 में बंद प्रयोगशालाओं द्वारा उपयोग किए जाने वाले अज्ञात Training data मिश्रणों के खुले विकल्प के रूप में जारी किया गया था। द पाइल व्यापक रूप से उपयोग किया जाने वाला Pretraining कॉर्पस बन गया, जिसे EleutherAI के अपने मॉडलों से परे अन्य खुले शोध प्रयासों द्वारा अपनाया गया, और इसकी भूमिका Common Crawl द्वारा कच्चे वेब डेटा के रूप में प्रदान की गई भूमिका के समान थी। इसके बाद समूह ने GPT-Neo और GPT-J को प्रशिक्षित और जारी किया, जो ट्रांसफॉर्मर भाषा मॉडल थे, जो GPT-3 से छोटे होने के बावजूद, अपने समय के सबसे बड़े खुले तौर पर उपलब्ध चेकपॉइंट्स में से थे। 2022 में GPT-NeoX-20B आया, जो उस समय सार्वजनिक रूप से उपलब्ध सबसे बड़े खुले Foundation model रिलीज़ में से एक था।
औपचारिकरण और बाद का कार्य
EleutherAI ने 2022 में एक गैर-लाभकारी शोध संस्थान के रूप में शामिल किया, जिससे जो एक तदर्थ स्वयंसेवी प्रयास के रूप में शुरू हुआ था, उसे औपचारिक रूप दिया गया और इसे अनुदान और दान प्राप्त करने में सक्षम बनाया गया, जिसमें AI safety और खुले शोध पहुंच में रुचि रखने वाले संगठनों से समर्थन शामिल था। संगठन ने भाषा मॉडल प्रतिकृति से परे मॉडल व्यवहार, Mechanistic interpretability और मूल्यांकन पद्धति पर व्यापक अनुभवजन्य शोध में अपना दायरा बढ़ाया, और इसने मूल्यांकन उपकरणों को बनाए रखा और वितरित किया, जिसमें एक व्यापक रूप से उपयोग किया जाने वाला LLM evaluation हार्नेस शामिल था, जिसे शोध समुदाय में AI benchmark प्रदर्शन को लगातार मापने के लिए अपनाया गया।
विरासत और प्रभाव
EleutherAI के मॉडल और डेटासेट Open-weights models रिलीज़ की लहर से पहले थे और सीधे उसे सूचित करते थे, जिसमें बाद में Hugging Face पर व्यापक रूप से होस्ट किए गए कार्य और Allen Institute for AI और Meta AI के Llama कार्यक्रम जैसे बेहतर वित्त पोषित संगठनों के प्रयास शामिल थे। टिप्पणीकारों ने समूह को यह प्रदर्शित करने का श्रेय दिया है कि एक ढीला संगठित, बड़े पैमाने पर स्वयंसेवी समूह बिना किसी बड़े कॉर्पोरेट समर्थन के सीमावर्ती-निकट भाषा मॉडल अनुसंधान में सार्थक योगदान दे सकता है, और डेटासेट दस्तावेज़ीकरण और खुले रिलीज़ के आसपास मानदंड स्थापित करने के साथ, जिनका बाद में बेहतर वित्त पोषित खुले मॉडल प्रयासों ने पालन करना जारी रखा।