एज एआई का तात्पर्य आर्टिफिशियल इंटेलिजेंस कार्यभारों को चलाने से है, जो अक्सर मॉडल अनुमान होते हैं, सीधे स्थानीय उपकरणों पर, जैसे स्मार्टफोन, कैमरे, कारें और एम्बेडेड सेंसर, बजाय डेटा को प्रोसेसिंग के लिए दूरस्थ क्लाउड डेटा सेंटर में भेजने के। यह क्लाउड एआई के विपरीत है, जहां एक डिवाइस इनपुट को एक बड़े मॉडल को चलाने वाले सर्वर पर भेजता है और नेटवर्क पर परिणाम वापस प्राप्त करता है।
प्रेरणा
एज एआई कई व्यावहारिक बाधाओं से प्रेरित है जिन्हें क्लाउड अनुमान अच्छी तरह से हल नहीं करता है। विलंब-संवेदनशील अनुप्रयोग, जैसे सेल्फ-ड्राइविंग कार में कैमरा-आधारित ऑब्जेक्ट डिटेक्शन या रीयल-टाइम वॉयस प्रोसेसिंग, नेटवर्क कॉल की राउंड-ट्रिप देरी को बर्दाश्त नहीं कर सकते। विश्वसनीय कनेक्टिविटी के बिना उपकरणों के लिए ऑफ़लाइन संचालन मायने रखता है। गोपनीयता एक प्रमुख चालक है: फोटो, वॉयस या स्वास्थ्य संकेतों जैसे डेटा को स्थानीय रूप से प्रोसेस करने का मतलब है कि कच्चा व्यक्तिगत डेटा कभी भी डिवाइस नहीं छोड़ना पड़ता, एक संपत्ति जिसका विपणन फोन निर्माताओं द्वारा तेजी से किया जा रहा है। लागत और बैंडविड्थ भी एज का पक्ष लेते हैं, क्योंकि हर अनुमान के लिए सेंसर डेटा को क्लाउड पर स्ट्रीम करना बड़े पैमाने पर महंगा है। व्यापार-नाप का संबंध क्षमता से है: एज डिवाइस में डेटा-सेंटर GPU क्लस्टर की तुलना में बहुत कम कंप्यूट और मेमोरी होती है, इसलिए एज एआई एक छोटे मेमोरी और पावर फुटप्रिंट में एक सक्षम मॉडल फिट करने के लिए क्वांटाइजेशन, मॉडल डिस्टिलेशन और अन्य आकार-कमी तकनीकों पर काफी हद तक निर्भर करता है।
हार्डवेयर और तकनीकें
एज एआई विशेष कम-पावर चिप्स पर चलता है: आधुनिक स्मार्टफोन सिस्टम-ऑन-चिप में निर्मित न्यूरल प्रोसेसिंग यूनिट, समर्पित अनुमान त्वरक जैसे Google का एज टीपीयू, जो इसके डेटा-सेंटर TPU का एक छोटा रिश्तेदार है, और तेजी से सक्षम एम्बेडेड जीपीयू। एज पर तैनात मॉडल आमतौर पर बड़े मॉडल के संपीड़ित संस्करण होते हैं: कम संख्यात्मक परिशुद्धता के लिए क्वांटाइज्ड, जैसे 16- या 32-बिट के बजाय 8-बिट या 4-बिट वेट, अनावश्यक पैरामीटर हटाने के लिए प्रून किए गए, या एक बड़े फाउंडेशन मॉडल से एक छोटे छात्र नेटवर्क में ज्ञान आसवन के माध्यम से निर्मित। टेन्सरफ्लो लाइट जैसे फ्रेमवर्क, जो TensorFlow पर बनाए गए हैं, और कोर एमएल पूर्ण-आकार के मॉडल से एज-अनुकूलित मॉडल तक इस तैनाती पथ का समर्थन करते हैं।
अनुप्रयोग और संभावनाएं
सामान्य एज एआई अनुप्रयोगों में ऑन-डिवाइस वॉयस असिस्टेंट शामिल हैं जो क्लाउड को बुलाने से पहले वेक वर्ड को स्थानीय रूप से प्रोसेस करते हैं, स्मार्टफोन पर कम्प्यूटेशनल फोटोग्राफी और फेस अनलॉक, औद्योगिक उपकरणों में भविष्य कहनेवाला रखरखाव सेंसर, और रोबोटिक्स और सेल्फ-ड्राइविंग कारों में धारणा प्रणाली जो नेटवर्क कनेक्टिविटी पर निर्भर नहीं हो सकते। 2020 के दशक के मध्य तक, कुछ अरब पैरामीटर वाले सक्षम छोटे भाषा मॉडल, जो आक्रामक क्वांटाइजेशन और डिस्टिलेशन द्वारा व्यावहारिक बनाए गए, ने एज एआई को संकीर्ण धारणा कार्यों से परे बढ़ाकर सामान्य-उद्देश्यीय चैट और तर्क मॉडल को सीधे फोन और लैपटॉप पर चलाने की ओर बढ़ाया, जो ऑन-डिवाइस जनरेटिव एआई की ओर व्यापक उद्योग धक्का का हिस्सा है, जिसे कुछ लोग क्लाउड-होस्टेड फ्रंटियर मॉडल के लिए गोपनीयता- और लागत-संचालित प्रतिसंतुलन के रूप में देखते हैं।