टेन्सर प्रोसेसिंग यूनिट (TPU) एक न्यूरल प्रोसेसिंग यूनिट (NPU) एप्लिकेशन-स्पेसिफिक इंटीग्रेटेड सर्किट (ASIC) है, जिसे Google द्वारा न्यूरल नेटवर्क मशीन लर्निंग के लिए विकसित किया गया है। TPU को सामान्य-उद्देश्य प्रोसेसर की तुलना में प्रति जूल अधिक इनपुट/आउटपुट संचालन के साथ उच्च मात्रा में कम-परिशुद्धता गणना (जैसे, 8-बिट) को संभालने के लिए डिज़ाइन किया गया है, और उनमें रास्टराइज़ेशन या टेक्सचर मैपिंग के लिए हार्डवेयर का अभाव है। Google ने 2015 में आंतरिक रूप से TPU का उपयोग शुरू किया, और 2018 में उन्हें अपने क्लाउड इंफ्रास्ट्रक्चर के माध्यम से तीसरे पक्ष के उपयोग के लिए उपलब्ध कराया और चिप का एक छोटा संस्करण बिक्री के लिए पेश किया। वर्तमान में, Google Cloud मुख्य रूप से TPU सिस्टम की बिक्री से उत्पाद राजस्व उत्पन्न करता है।
TPU TensorFlow, JAX, और PyTorch फ्रेमवर्क का समर्थन करते हैं। वे कन्वोल्यूशनल न्यूरल नेटवर्क (CNN) के लिए विशेष रूप से उपयुक्त हैं, जबकि GPU कुछ पूरी तरह से जुड़े न्यूरल नेटवर्क के लिए लाभ प्रदान करते हैं, और CPU आवर्तक न्यूरल नेटवर्क (RNN) के लिए लाभ प्रदान कर सकते हैं। बड़े भाषा मॉडल के लिए ट्रांसफॉर्मर-आधारित न्यूरल नेटवर्क का उपयोग करने वाले वर्कफ्लो में, TPU अक्सर अनुमान (inference) के लिए और GPU प्रशिक्षण के लिए उपयोग किए जाते हैं।
इतिहास
2013 में, Google ने अपने डेटासेंटर के लिए कस्टम सिलिकॉन विकास क्षमताएं स्थापित करने के लिए अमीर सालेक को भर्ती किया। Google तकनीकी इंफ्रास्ट्रक्चर और Google Cloud के लिए कस्टम सिलिकॉन के संस्थापक और प्रमुख के रूप में, सालेक ने मूल TPU (Google की पहली उत्पादन चिप), TPUv2 (उद्योग की पहली उत्पादन डीप-लर्निंग प्रशिक्षण चिप), TPUv3, TPUv4, Edge-TPU, और VCU, IPU, और OpenTitan सहित अतिरिक्त सिलिकॉन उत्पादों के विकास का नेतृत्व किया।
जोनाथन रॉस के अनुसार, मूल TPU इंजीनियरों में से एक और बाद में Groq के संस्थापक, Google में तीन अलग-अलग समूह AI एक्सेलेरेटर विकसित कर रहे थे, और TPU, एक सिस्टोलिक ऐरे, वह डिज़ाइन था जिसे अंततः चुना गया। TPU की वंशावली WARP सहित सिस्टोलिक ऐरे सिस्टम के साथ साझा है। नॉर्मन पी. जौपी ने Google के TPU विकास के तकनीकी लीड और प्रमुख वास्तुकार के रूप में कार्य किया, और केवल 15 महीनों में पहले TPU के तेजी से डिज़ाइन, सत्यापन और उत्पादन में तैनाती का नेतृत्व किया। 2017 के प्रभावशाली पेपर "इन-डेटासेंटर परफॉर्मेंस एनालिसिस ऑफ़ ए टेन्सर प्रोसेसिंग यूनिट" के प्रमुख लेखक के रूप में, जो 44वें इंटरनेशनल सिम्पोजियम ऑन कंप्यूटर आर्किटेक्चर (ISCA 2017) में प्रस्तुत किया गया था, जौपी ने प्रदर्शित किया कि TPU ने समकालीन CPU और GPU की तुलना में 15-30 गुना अधिक प्रदर्शन और 30-80 गुना अधिक प्रदर्शन-प्रति-वाट हासिल किया।
टेन्सर प्रोसेसिंग यूनिट की घोषणा मई 2016 में Google I/O सम्मेलन में की गई थी, जब कंपनी ने कहा कि TPU का उपयोग उनके डेटा सेंटरों में एक वर्ष से अधिक समय से किया जा रहा था। Google का 2017 का पेपर जो इसके निर्माण का वर्णन करता है, 1990 के दशक में निर्मित समान वास्तुकला के पिछले सिस्टोलिक मैट्रिक्स गुणकों का उल्लेख करता है। चिप को विशेष रूप से Google के TensorFlow फ्रेमवर्क के लिए डिज़ाइन किया गया था, जो न्यूरल नेटवर्क जैसे मशीन लर्निंग अनुप्रयोगों के लिए उपयोग की जाने वाली एक प्रतीकात्मक गणित लाइब्रेरी है। हालांकि, 2017 तक Google अन्य प्रकार की मशीन लर्निंग के लिए CPU और GPU का उपयोग करता रहा।
Google के TPU मालिकाना हैं। कुछ मॉडल व्यावसायिक रूप से उपलब्ध हैं, और 12 फरवरी, 2018 को, द न्यूयॉर्क टाइम्स ने बताया कि Google "अन्य कंपनियों को अपनी क्लाउड-कंप्यूटिंग सेवा के माध्यम से उन चिप्स तक पहुंच खरीदने की अनुमति देगा।" Google ने कहा है कि उनका उपयोग AlphaGo बनाम ली सेडोल की मानव-बनाम-मशीन गो श्रृंखला में किया गया था, साथ ही AlphaZero सिस्टम में, जिसने अकेले खेल के नियमों से शतरंज, शोगी और गो खेलने वाले कार्यक्रम बनाए और उन खेलों में अग्रणी कार्यक्रमों को हराया। Google ने Google स्ट्रीट व्यू टेक्स्ट प्रोसेसिंग के लिए भी TPU का उपयोग किया है और पांच दिनों से कम समय में स्ट्रीट व्यू डेटाबेस में सभी टेक्स्ट ढूंढने में सक्षम था। Google फ़ोटो में, एक व्यक्तिगत TPU प्रतिदिन 100 मिलियन से अधिक फ़ोटो संसाधित कर सकता है। इसका उपयोग RankBrain में भी किया जाता है, जिसका उपयोग Google खोज परिणाम प्रदान करने के लिए करता है।
Google तीसरे पक्ष को Google Cloud Platform के हिस्से के रूप में अपनी Cloud TPU सेवा के माध्यम से और अपनी नोटबुक-आधारित सेवाओं Kaggle और Colaboratory के माध्यम से TPU तक पहुंच प्रदान करता है। Broadcom TPU का सह-विकासकर्ता है, जो Google की वास्तुकला और विशिष्टताओं को निर्माण योग्य सिलिकॉन में अनुवादित करता है। यह SerDes हाई-स्पीड इंटरफेस जैसी मालिकाना तकनीकें प्रदान करता है, ASIC डिज़ाइन की देखरेख करता है, और ताइवान सेमीकंडक्टर मैन्युफैक्चरिंग कंपनी (TSMC) जैसी तीसरे पक्ष की फाउंड्री के माध्यम से चिप निर्माण और पैकेजिंग का प्रबंधन करता है, जो कार्यक्रम की शुरुआत से सभी पीढ़ियों को कवर करता है।
सितंबर 2025 में, Google क्रूसो और कोरवीव सहित कई "नियोक्लाउड्स" के साथ अपने डेटासेंटर में TPU तैनात करने के बारे में बातचीत कर रहा था। नवंबर 2025 में, मेटा अपने AI डेटासेंटर में TPU तैनात करने के लिए Google के साथ बातचीत कर रहा था।
उत्पाद
पहली पीढ़ी का TPU
पहली पीढ़ी का TPU एक 8-बिट मैट्रिक्स गुणन इंजन है, जो PCIe 3.0 बस के पार होस्ट प्रोसेसर द्वारा CISC निर्देशों के साथ संचालित होता है। यह 28 nm प्रक्रिया पर ≤ 331 mm2 के डाई आकार के साथ निर्मित होता है। क्लॉक स्पीड 700 MHz है और इसकी थर्मल डिज़ाइन पावर 28-40 W है। इसमें 28 MiB ऑन-चिप मेमोरी है, और 4 MiB 32-बिट एक्युमुलेटर हैं जो 256×256 सिस्टोलिक ऐरे के 8-बिट गुणकों के परिणाम लेते हैं। TPU पैकेज के भीतर 8 GiB डुअल-चैनल 2133 MHz DDR3 SDRAM है जो 34 GB/s की बैंडविड्थ प्रदान करता है। निर्देश होस्ट से डेटा स्थानांतरित करते हैं, मैट्रिक्स गुणन या कन्वोल्यूशन करते हैं, और सक्रियण फ़ंक्शन लागू करते हैं।
दूसरी पीढ़ी का TPU
दूसरी पीढ़ी के TPU की घोषणा मई 2017 में की गई थी। Google ने कहा कि पहली पीढ़ी का TPU डिज़ाइन मेमोरी बैंडविड्थ द्वारा सीमित था और दूसरी पीढ़ी के डिज़ाइन में 16 GB हाई बैंडविड्थ मेमोरी का उपयोग करने से बैंडविड्थ बढ़कर 600 GB/s और प्रदर्शन 45 टेराफ्लॉप्स हो गया। फिर TPU को 180 टेराफ्लॉप्स के प्रदर्शन के साथ चार-चिप मॉड्यूल में व्यवस्थित किया जाता है। फिर इनमें से 64 मॉड्यूल को 11.5 पेटाफ्लॉप्स के प्रदर्शन के साथ 256-चिप पॉड्स में इकट्ठा किया जाता है। उल्लेखनीय रूप से, जबकि पहली पीढ़ी के TPU पूर्णांक तक सीमित थे, दूसरी पीढ़ी के TPU फ्लोटिंग पॉइंट में भी गणना कर सकते हैं, जिसमें Google Brain द्वारा आविष्कृत bfloat16 प्रारूप पेश किया गया। यह दूसरी पीढ़ी के TPU को मशीन लर्निंग मॉडल के प्रशिक्षण और अनुमान दोनों के लिए उपयोगी बनाता है। Google ने कहा है कि ये दूसरी पीढ़ी के TPU TensorFlow अनुप्रयोगों में उपयोग के लिए Google Compute Engine पर उपलब्ध होंगे।
तीसरी पीढ़ी का TPU
तीसरी पीढ़ी के TPU की घोषणा 8 मई, 2018 को की गई थी। Google ने घोषणा की कि प्रोसेसर स्वयं दूसरी पीढ़ी के TPU से दोगुने शक्तिशाली हैं, और पिछली पीढ़ी की तुलना में चार गुना अधिक चिप्स वाले पॉड्स में तैनात किए जाएंगे। इसके परिणामस्वरूप प्रति पॉड प्रदर्शन में 8 गुना वृद्धि होती है। तीसरी पीढ़ी के TPU bfloat16 का भी समर्थन करते हैं और प्रशिक्षण और अनुमान दोनों के लिए डिज़ाइन किए गए हैं। वे Google Cloud TPU सेवा के माध्यम से उपलब्ध हैं।
वास्तुकला और डिज़ाइन
TPU गुणकों के एक सिस्टोलिक ऐरे के आसपास बनाया गया है, जो न्यूरल नेटवर्क संचालन के लिए मौलिक मैट्रिक्स गुणन के कुशल निष्पादन की अनुमति देता है। सिस्टोलिक ऐरे डिज़ाइन, जहां डेटा लयबद्ध तरीके से ऐरे के माध्यम से प्रवाहित होता है, बार-बार मेमोरी एक्सेस की आवश्यकता को कम करता है और ऊर्जा दक्षता में सुधार करता है। पहली पीढ़ी का TPU 8-बिट परिशुद्धता पर संचालित होता है, लेकिन बाद की पीढ़ियां प्रशिक्षण के लिए bfloat16 का समर्थन करती हैं। नॉर्मन जौपी के अनुसार, TPU एक हीटसिंक असेंबली में लगाया जाता है जो डेटा सेंटर रैक में हार्ड ड्राइव स्लॉट में फिट हो सकता है।
अनुप्रयोग और प्रभाव
TPU का उपयोग विभिन्न Google सेवाओं में किया गया है, जिसमें खोज (RankBrain), Google फ़ोटो, और स्ट्रीट व्यू शामिल हैं। उनका उपयोग AlphaGo और AlphaZero सिस्टम में भी किया गया था। Google Cloud के माध्यम से TPU की उपलब्धता ने तीसरे पक्ष के डेवलपर्स और शोधकर्ताओं को अपने स्वयं के मशीन लर्निंग वर्कलोड को तेज करने में सक्षम बनाया है। TPU के विकास ने व्यापक AI हार्डवेयर परिदृश्य को भी प्रभावित किया है, अन्य कंपनियों ने अपने स्वयं के AI एक्सेलेरेटर विकसित किए हैं, जैसे Groq और AWS Trainium।