आशीष वासवानी एक कंप्यूटर वैज्ञानिक हैं और "Attention Is All You Need" (2017) के प्रमुख लेखक हैं, यह पेपर Google में सात सह-लेखकों के साथ लिखा गया था, जिसने Transformer (architecture) आर्किटेक्चर पेश किया जो लगभग सभी आधुनिक बड़े भाषा मॉडल का आधार है।
ट्रांसफॉर्मर पेपर
वासवानी ने दक्षिणी कैलिफोर्निया विश्वविद्यालय से कंप्यूटर विज्ञान में पीएचडी की है, जहाँ उन्होंने Google Brain में शामिल होने से पहले सांख्यिकीय मशीन अनुवाद पर काम किया। ट्रांसफॉर्मर पेपर के प्रमुख लेखक के रूप में, वे इस प्रस्ताव के केंद्र में थे कि एक अनुक्रम अनुवाद मॉडल पुनरावृत्ति और कन्वोल्यूशन को पूरी तरह से त्याग सकता है और केवल स्व-ध्यान तंत्र पर निर्भर रह सकता है ताकि एक अनुक्रम में सभी स्थितियों के बीच संबंधों को समानांतर में मॉडल किया जा सके। परिणामी आर्किटेक्चर उन पुनरावर्ती नेटवर्क की तुलना में बड़े पैमाने पर प्रशिक्षित करने में नाटकीय रूप से अधिक कुशल साबित हुआ, जिन्हें इसने प्रतिस्थापित किया, और इसने सीधे तौर पर बहुत बड़े मॉडलों के प्रीट्रेनिंग को सक्षम किया, जो BERT, GPT श्रृंखला, और OpenAI, Anthropic, और Google DeepMind द्वारा तब से जारी प्रभावी रूप से हर प्रमुख मॉडल का आधार बना।
Google के बाद
वासवानी ने 2020 में Google छोड़ दिया। 2022 में, उन्होंने साथी ट्रांसफॉर्मर सह-लेखक निकी परमार और अन्य पूर्व Google और OpenAI शोधकर्ताओं के साथ Adept AI की सह-स्थापना की, यह एक स्टार्टअप है जो सॉफ्टवेयर इंटरफेस के भीतर कार्य करने में सक्षम AI एजेंट बनाने पर केंद्रित था, जो 2024 से 2026 की व्यापक AI agent और Computer use (AI) लहर में एक प्रारंभिक प्रवेशकर्ता था। Adept की तकनीक और उसकी टीम का एक हिस्सा 2024 के लाइसेंसिंग और प्रतिभा सौदे में Amazon द्वारा अवशोषित कर लिया गया, यह संरचना अन्य बड़ी प्रयोगशालाओं द्वारा छोटे AI स्टार्टअप के अधिग्रहण में उपयोग की जाने वाली संरचनाओं के समान थी।
इसके बाद वासवानी ने Essential AI की सह-स्थापना की, जो उद्यम अनुप्रयोगों के लिए फाउंडेशन मॉडल अनुसंधान पर केंद्रित एक और स्टार्टअप है, और वे उस बड़े पैमाने के Pretraining अनुसंधान पर काम करना जारी रखा जो सीधे उनके मूल ट्रांसफॉर्मर कार्य से उत्पन्न हुआ।
प्रभाव
क्षेत्र के हालिया इतिहास में सबसे अधिक उद्धृत पेपर के प्रमुख लेखक के रूप में, वासवानी को व्यापक रूप से संपूर्ण आधुनिक जनरेटिव AI उद्योग के वास्तुकारों में से एक माना जाता है। पेपर के आठ लेखक, जिनमें Noam Shazeer और Aidan Gomez शामिल हैं, सभी ने अंततः Google छोड़ दिया, और स्टार्टअप और प्रतिद्वंद्वी प्रयोगशालाओं में उनके बाद के, बिखरे हुए करियर को अक्सर इस बात के प्रतीक के रूप में उद्धृत किया जाता है कि 2017 के बाद ट्रांसफॉर्मर-युग की AI प्रतिभा कितनी केंद्रित और गतिशील हो गई।