कंट्रास्टिव लैंग्वेज–इमेज प्री-ट्रेनिंग (CLIP) एक मशीन-लर्निंग मॉडल है जिसे OpenAI द्वारा विकसित किया गया है, जो छवियों को प्राकृतिक भाषा विवरणों के साथ जोड़कर दृश्य प्रतिनिधित्व सीखता है। यह एक द्वि-एनकोडर वास्तुकला का उपयोग करता है, जहाँ एक छवि एनकोडर और एक पाठ एनकोडर को संयुक्त रूप से प्रशिक्षित किया जाता है ताकि छवि और पाठ एम्बेडिंग को एक साझा वेक्टर स्थान में संरेखित किया जा सके। यह दृष्टिकोण मॉडल को कार्य-विशिष्ट प्रशिक्षण डेटा के बिना शून्य-शॉट छवि वर्गीकरण और पुनर्प्राप्ति करने की अनुमति देता है।
CLIP को पहली बार 2021 के arXiv पेपर में पेश किया गया था, जिसे एलेक रैडफोर्ड, जोंग वूक किम, क्रिस हलासी, आदित्य रमेश, गेब्रियल गोह, संधिनी अग्रवाल, गिरीश सास्त्री, अमांडा एस्केल, पामेला मिश्किन, जैक क्लार्क, ग्रेचेन क्रूगर और इल्या सुत्सकेवर द्वारा लिखा गया था। परियोजना की कल्पना निश्चित-लेबल छवि वर्गीकरण डेटासेट की सीमाओं को दूर करने के तरीके के रूप में की गई थी, जो वेब पर उपलब्ध पाठ-छवि जोड़ों की प्रचुरता का लाभ उठाती है, विशेष रूप से सोशल मीडिया और ऑनलाइन लेखों जैसे प्लेटफार्मों से। यह नाम मुख्य प्रशिक्षण विधि को दर्शाता है: छवियों और उनके संबंधित भाषा विवरणों पर कंट्रास्टिव प्री-ट्रेनिंग।
CLIP की वास्तुकला में दो तंत्रिका-नेटवर्क एनकोडर शामिल हैं, जिनमें से प्रत्येक ट्रांसफॉर्मर ढांचे पर आधारित है। छवि एनकोडर या तो विज़न ट्रांसफॉर्मर (ViT) या अवशिष्ट नेटवर्क (अवशिष्ट-नेटवर्क) हो सकता है, दोनों को निम्न-आयामी फीचर वेक्टर उत्पन्न करने के लिए कॉन्फ़िगर किया गया है। पाठ एनकोडर एक कारणात्मक ध्यान मास्क के साथ एक मानक ट्रांसफॉर्मर का उपयोग करके टोकनयुक्त शब्दों के अनुक्रम को संसाधित करता है, और एक फीचर वेक्टर के साथ समाप्त होता है जो छवि सुविधाओं के समान आयाम में प्रक्षेपित होता है। दो वेक्टरों की तुलना डॉट उत्पाद का उपयोग करके की जाती है, और एक कंट्रास्टिव हानि-फलन लागू किया जाता है, आमतौर पर एक तापमान-स्केल किया गया InfoNCE मानदंड। प्रशिक्षण के दौरान, मॉडल छवि-पाठ जोड़ों का एक बैच देखता है और मिलान वाले जोड़ों की समानता को अधिकतम करने के लिए अनुकूलित किया जाता है, जबकि अन्य सभी संयोजनों की समानता को कम किया जाता है। यह प्रक्रिया, जो एडम-ऑप्टिमाइज़र का उपयोग करती है, जिसमें सीखने-दर-अनुसूची शामिल है जिसमें वार्मअप और ग्रेडिएंट-क्लिपिंग तकनीकें शामिल हैं, मॉडल को एक संरेखित एम्बेडिंग स्थान सीखने के लिए प्रेरित करती है।
प्री-ट्रेनिंग के लिए उपयोग किया जाने वाला डेटासेट WebImageText डेटासेट है, जिसमें इंटरनेट से स्वचालित रूप से एकत्र किए गए 400 मिलियन से अधिक छवि-पाठ जोड़े शामिल हैं। इसके विपरीत, पहले लोकप्रिय डेटासेट जैसे ImageNet में लगभग 1.6 मिलियन लेबल वाली छवियां होती हैं। डेटासेट की विविधता और पैमाने ने CLIP को मैन्युअल एनोटेशन के बिना व्यापक दृश्य ज्ञान प्राप्त करने की अनुमति दी। हालाँकि, लेखकों ने वेब-एकत्रित डेटा में संभावित व्यवस्थित पूर्वाग्रह पर ध्यान दिया, जिसमें संभावित उपनाम और कुछ समूहों का कम प्रतिनिधित्व शामिल है, जो बाद के मॉडल पुनरावृत्तियों में एक चिंता बनी हुई है।
शून्य-शॉट स्थानांतरण और क्षमताएँ
CLIP को अतिरिक्त कार्य-विशिष्ट फाइन-ट्यूनिंग के बिना कई प्रकार के कार्यों के लिए अनुकूलित किया जा सकता है। उदाहरण के लिए, वर्गीकरण कार्य मॉडल से पाठ संकेतों के एक सेट को रैंक करने के लिए कहकर किए जा सकते हैं, जैसे "एक कुत्ते की तस्वीर", एक इनपुट छवि के विरुद्ध। ImageNet (दृश्य पहचान के लिए एक मानक बेंचमार्क) पर इसका प्रदर्शन बिना किसी पिक्सेल प्रशिक्षण उदाहरण के 76.2% शीर्ष-1 सटीकता तक पहुँच गया, जो निश्चित फीचर-आधारित बेसलाइन को पार कर गया और ResNet-50 सुविधाओं पर प्रशिक्षित एक सरल रैखिक क्लासिफायर के प्रदर्शन से मेल खाता है। अन्य बेंचमार्क पर, जैसे समान दृश्य वर्गीकरण कार्य, CLIP एक SimCLR फीचर-प्रशिक्षित रैखिक क्लासिफायर के सापेक्ष लगभग 16% का औसत लाभ दिखाता है। इन परिणामों ने प्रदर्शित किया कि प्राकृतिक रूप से होने वाले पाठ पर बड़े पैमाने पर कंट्रास्टिव प्री-ट्रेनिंग स्थानांतरण सीखने के लिए एक व्यवहार्य दृष्टिकोण है।
मॉडल छवि-पाठ पुनर्प्राप्ति का भी समर्थन करता है, जिससे विवरणों से छवियों को खोजना या छवियों से पाठ का मिलान करना संभव हो जाता है। इसका उपयोग जनरेटिव संदर्भों में किया गया है, जैसे कि पाठ-से-छवि पाइपलाइनों में एक घटक के रूप में और जनरेटिव-एआई कला निर्माण के लिए एक मार्गदर्शक के रूप में, और इसके एम्बेडिंग का उपयोग डेटा-वृद्धि और छवि खोज प्रणालियों के लिए किया जा सकता है।
प्रभाव और प्रभावशीलता
CLIP ने कंप्यूटर विज़न के क्षेत्र को निश्चित लेबल सेट के साथ वर्गीकरण से खुले-शब्दावली समझ की ओर स्थानांतरित कर दिया, जिससे विज़न मॉडल को स्केल करने के लिए एक नया क्षेत्र तैयार हुआ। शून्य-शॉट स्थानांतरण की इसकी अवधारणा ने ALIGN और फ्लोरेंस जैसे बाद के दृष्टिकोणों को प्रेरित किया, और एक लचीले भविष्यवाणी इंटरफ़ेस के रूप में प्राकृतिक भाषा का उपयोग करने की विधि मल्टीमॉडल कार्यों में मानक बन गई है। यह ट्रांसफॉर्मर-आधारित मॉडल प्रशिक्षण में कंट्रास्टिव उद्देश्य के उपयोग को भी प्रभावित करता है। OpenAI ने कई संदर्भ कार्यान्वयन जारी किए हैं और मॉडल को ओपन-सोर्स किया है, जिससे शिक्षा और उद्योग में आगे के शोध और विकास की सुविधा मिली है।
बाद के पुनरावृत्तियों, जैसे CLIP और OpenCLIP (एक सामुदायिक पुनर्कार्यान्वयन) जैसे वेरिएंट, ने मूल अवधारणा का विस्तार किया है, जिसमें डेटा संग्रह और प्रशिक्षण तकनीकों में सुधार शामिल हैं, जो ऊर्जा खपत जैसी व्यावहारिक बाधाओं के साथ संतुलित हैं। CLIP मल्टीमॉडल सीखने के अनुभवजन्य अध्ययनों में व्यापक रूप से संदर्भित बेसलाइन बना हुआ है।
आलोचना और सीमाएँ
अपनी सफलता के बावजूद, CLIP की उल्लेखनीय सीमाएँ हैं। यह बारीक-दानेदार समय या लंबी-पूंछ वर्गीकरण पर खराब प्रदर्शन करता है, और घृणास्पद मीम पहचान या चिकित्सा इमेजिंग जैसे कार्यों पर इसकी सटीकता विशेष मॉडलों की तुलना में कम है। वेब से सामाजिक पूर्वाग्रह सीखने का भी जोखिम है: जब मानव विशेषता वर्गीकरण पर मूल्यांकन किया जाता है, तो मॉडल नस्लीय या लिंग विशेषताओं को प्रदर्शित कर सकता है जो इसके प्रशिक्षण डेटा में अधिक प्रतिनिधित्व करते हैं और कुछ समूहों को गलत वर्गीकृत कर सकते हैं। इसकी स्थानिक तर्क और उपस्थिति खराब है, और यह स्पष्ट पर्यवेक्षण के बिना कई उदाहरणों को गिन या पता नहीं लगा सकता है। एक महत्वपूर्ण इंजीनियरिंग समुदाय शून्य-शॉट मजबूती से भी निपटता है, फिर भी CLIP की सामान्य परिवर्तनों जैसे डेटा-वृद्धि, जैसे धुंधलापन या घूर्णन, के प्रति संवेदनशीलता कुछ अनुप्रयोगों में इसकी उपयोगिता को कम करती है।
पाठ एनकोडर टोकन-स्तर पर काम करता है, जो भाषा की गहरी रचनात्मक समझ को सीमित करता है, और कोड बड़े व्याकरण संरचनाओं को प्रभावी ढंग से संभालता नहीं है। CLIP भी OpenAI कार्यान्वयन प्रशिक्षण डेटासेट पर निर्भर करता है, जो सार्वजनिक रूप से जारी नहीं किया गया है, जिससे स्वतंत्र विश्लेषण जटिल हो जाता है; OpenCLIP जैसे स्वतंत्र उपाय फिट को संबोधित करते हैं लेकिन अंतर्निहित पूर्वाग्रह को महत्वपूर्ण रूप से नहीं।
व्यापक पारिस्थितिकी तंत्र और संबंध
CLIP का डिज़ाइन विज़न से परे क्षेत्रों को प्रभावित करता है, जिसमें ऑडियो-भाषा मॉडल शामिल हैं, और इसकी अवधारणा रोबोटिक्स को फाइन-ट्यून करने के लिए RLAIF जैसी विधियों के साथ जोड़ी गई है। यह कंट्रास्टिव विधियों और बड़े पैमाने पर प्री-ट्रेनिंग की ओर व्यापक गहन-सीखने प्रवृत्ति से जुड़ा हुआ है, और इसे आसान उपयोग के लिए अमेज़न वेब सेवाओं और गूगल क्लाउड जैसी सार्वजनिक क्लाउड कंप्यूटिंग सेवाओं द्वारा होस्ट किया गया है। कई हालिया एकीकृत मल्टीमॉडल मॉडल, जिनमें Google DeepMind की दक्षता क्षमताएँ शामिल हैं, CLIP-जैसी छवि क्लिप को एकीकृत करते हैं। स्टैनफोर्ड एआई लैब और यूए ओउ सहित शैक्षणिक और औद्योगिक केंद्रों के शोधकर्ताओं ने मोडैलिटीज में मल्टी-हेड-अटेंशन प्रदान करने के लिए एक्सटेंशन बनाए हैं।
इसके अलावा, CLIP OpenAI के लिए सहायक रहा है, जिन्होंने OpenAI सदस्य इल्या सुत्सकेवर OpenAI नेतृत्व के साथ भी काम किया, जिससे बड़े पैमाने पर एआई अनुसंधान के साथ संरेखण में क्षेत्र को आगे बढ़ाने में मदद मिली। जटिल विकास सीधे बड़े भाषा मॉडल और ट्रांसफॉर्मर पर पिछले काम से प्रवाहित होता है और हाल के वर्षों में अन्य ढांचे के साथ संयोजन में विचार किया गया है।
CLIP का भविष्य स्केलिंग को संभालता है: इसे अधिक डेटा और GPU संसाधनों पर कम या ज्यादा व्यापक रूप से प्रशिक्षित किया जा सकता है, लेकिन शोधकर्ता बेहतर वास्तुकला और अत्यंत बड़े प्रशिक्षण डेटा की खोज कर रहे हैं ताकि इसके प्रदर्शन में सुधार हो और इसके पूर्वाग्रहों को कम किया जा सके।