जेरेड कापलान एक सैद्धांतिक भौतिक विज्ञानी और मशीन लर्निंग शोधकर्ता हैं, जिन्हें भाषा मॉडलों के लिए अनुभवजन्य स्केलिंग-नियम स्थापित करने वाले शोध का नेतृत्व करने और एंथ्रोपिक के सह-संस्थापक तथा मुख्य वैज्ञानिक होने के लिए जाना जाता है।
पृष्ठभूमि और स्केलिंग नियम
कापलान ने एआई शोध में आगे बढ़ने से पहले जॉन्स हॉपकिन्स विश्वविद्यालय में सैद्धांतिक भौतिकी में संकाय पद धारण किया था, एक पृष्ठभूमि जिसे उन्होंने कहा है कि उनके दृष्टिकोण को आकार दिया, जिसमें मॉडल व्यवहार को केवल अंतर्ज्ञान से इंजीनियर करने के बजाय एक अनुभवजन्य, मात्रात्मक प्रणाली के रूप में मापा जाता है। 2020 में, ओपनएआई से संबद्ध रहते हुए, उन्होंने "स्केलिंग लॉज़ फॉर न्यूरल लैंग्वेज मॉडल्स" का नेतृत्व किया, एक पेपर जिसने दिखाया कि भाषा मॉडलिंग कार्यों पर हानि मॉडल आकार, डेटासेट आकार और प्रशिक्षण कंप्यूट के साथ सुचारू शक्ति-नियम संबंधों का पालन करती है। पेपर ने प्रयोगशालाओं को एक निश्चित कंप्यूट बजट आवंटित करने का निर्णय लेने के लिए एक पूर्वानुमानित ढांचा दिया, और इसने सीधे जीपीटी-3 के प्रशिक्षण को सूचित किया। डीपमाइंड से 2022 का व्यापक रूप से उद्धृत अनुवर्ती, "चिंचिला" पेपर, ने पैरामीटर और प्रशिक्षण टोकन के इष्टतम अनुपात के बारे में कापलान के मूल निष्कर्षों को संशोधित किया, लेकिन अंतर्निहित शक्ति-नियम ढांचा जिसे उन्होंने स्थापित करने में मदद की, वह सीमांत प्रयोगशालाओं के बड़े प्रशिक्षण रन की योजना बनाने के तरीके के लिए मौलिक बना रहा।
एंथ्रोपिक
2021 में, कापलान ने डारियो अमोदेई, डैनिएला अमोदेई, टॉम ब्राउन, क्रिस ओला और अन्य लोगों के साथ एंथ्रोपिक की सह-स्थापना की, जिन्होंने ओपनएआई में एक साथ काम किया था। एंथ्रोपिक के मुख्य वैज्ञानिक के रूप में, उन्होंने प्रीट्रेनिंग, संरेखण और मॉडल क्षमताओं के अनुभवजन्य अध्ययन को शामिल करते हुए शोध दिशाओं की देखरेख की है, जैसे-जैसे वे स्केल करते हैं, उस स्केलिंग-केंद्रित शोध कार्यक्रम को जारी रखते हुए जो उन्होंने ओपनएआई में शुरू किया था। एंथ्रोपिक का सार्वजनिक सुरक्षा ढांचा, जिसमें इसकी जिम्मेदार स्केलिंग नीति (देखें एंथ्रोपिक-सिद्धांत) शामिल है, आंशिक रूप से इस धारणा पर टिका है कि क्षमता वृद्धि स्केलिंग रुझानों से इतनी पूर्वानुमानित है कि इसकी योजना बनाई और गेट किया जा सकता है, एक विचार जो सीधे कापलान के पहले के शोध से उत्पन्न हुआ है।
प्रभाव
कापलान के स्केलिंग नियम कार्य को अक्सर जीपीटी-3 पेपर के साथ उन दो विकासों के रूप में उद्धृत किया जाता है जिन्होंने व्यापक क्षेत्र को आश्वस्त किया कि मौलिक रूप से नए आर्किटेक्चर की खोज करने के बजाय ट्रांसफॉर्मर मॉडल को पूर्वानुमानित रूप से स्केल करना जारी रखना, आगे की क्षमता लाभ के लिए सबसे विश्वसनीय मार्ग था, एक निष्कर्ष जिसने 2020 के दशक के मध्य तक सीमांत प्रयोगशाला रणनीति को आकार दिया।
सैद्धांतिक भौतिकी में उनकी पृष्ठभूमि का उल्लेख अक्सर एंथ्रोपिक के नेतृत्व के प्रोफाइल में एआई प्रयोगशाला संस्थापकों के बीच एक विशिष्ट विशेषता के रूप में किया जाता है, और उन्होंने भौतिक प्रणालियों का अध्ययन करने के लिए उपयोग की जाने वाली अनुभवजन्य विधियों और सीमांत प्रयोगशालाओं द्वारा तैनाती से पहले और बाद में बड़े प्रशिक्षित मॉडलों के व्यवहार का अध्ययन करने के तरीके के बीच स्पष्ट समानताएं बनाना जारी रखा है।