मूर का नियम इंटेल के सह-संस्थापक गॉर्डन मूर द्वारा 1965 में किया गया अवलोकन है, जिसके अनुसार एक एकीकृत सर्किट पर ट्रांजिस्टर की संख्या लगभग हर दो साल में दोगुनी हो जाती है, यह एक अनुभवजन्य नियम है जो चार दशकों से अधिक समय तक उल्लेखनीय स्थिरता के साथ कायम रहा और कंप्यूटिंग शक्ति की घातीय वृद्धि के लिए एक सामान्य संक्षिप्त रूप बन गया। कृत्रिम बुद्धिमत्ता में, "मूर का नियम" अक्सर एक संबंधित लेकिन अलग प्रवृत्ति का वर्णन करने के लिए ढीले ढंग से उपयोग किया जाता है: एआई मॉडल को प्रशिक्षित करने और चलाने के लिए लागू कम्प्यूटेशनल शक्ति की तीव्र वृद्धि, जो कभी-कभी क्लासिक ट्रांजिस्टर स्केलिंग से भी तेज गति से आगे बढ़ी है।
पारंपरिक ट्रांजिस्टर-घनत्व मूर का नियम 2010 के दशक में काफी धीमा होना शुरू हुआ, क्योंकि चिप निर्माता लघुकरण की भौतिक सीमाओं के करीब पहुंच गए, जिससे अर्धचालक उद्योग को शुद्ध घनत्व लाभ के बजाय अधिक विशेष आर्किटेक्चर, चिप स्टैकिंग और बड़े डाई पर निर्भर रहना पड़ा।
एआई में कंप्यूट स्केलिंग
2018 का व्यापक रूप से उद्धृत ओपनएआई विश्लेषण, "एआई एंड कंप्यूट," ने पाया कि 2012 और 2018 के बीच सबसे बड़े एआई प्रशिक्षण रनों में उपयोग की जाने वाली कंप्यूट की मात्रा लगभग हर 3.4 महीने में दोगुनी हो गई थी, जो मूर के नियम के क्लासिक दो-वर्षीय दोगुने से कहीं अधिक तेज थी, जो शोधकर्ताओं की अकेले चिप सुधारों के बजाय बड़े प्रशिक्षण रनों पर खर्च करने की बढ़ती इच्छा से प्रेरित थी। यह कंप्यूट वृद्धि अनुभवजन्य Scaling laws को रेखांकित करती है, जो वर्णन करती है कि मॉडल प्रदर्शन पैरामीटर, डेटा और कंप्यूट एक साथ बढ़ने पर पूर्वानुमानित रूप से कैसे सुधरता है।
वक्र के पीछे हार्डवेयर
सामान्य-उद्देश्य वाले GPUs, मूल रूप से ग्राफिक्स रेंडरिंग के लिए निर्मित, प्रमुख एआई प्रशिक्षण हार्डवेयर बन गए क्योंकि उनकी समानांतर वास्तुकला न्यूरल नेटवर्क के मूल में मैट्रिक्स गुणन के लिए उपयुक्त है। Nvidia का CUDA सॉफ्टवेयर प्लेटफॉर्म, जो 2006 में लॉन्च हुआ, ने 2012 के AlexNet परिणाम के बाद गहन शिक्षण शुरू होते ही इसे एक स्थायी लाभ दिया। Google के कस्टम TPU एक्स