मानव-इन-द-लूप (HITL) एक डिज़ाइन प्रतिमान है Artificial intelligence में, जहाँ मानव ऑपरेटर Machine learning मॉडलों के प्रशिक्षण, मूल्यांकन, या संचालन में भाग लेते हैं। यह दृष्टिकोण तब उपयोग किया जाता है जब स्वचालित प्रणालियाँ अस्पष्टता को पूरी तरह से हल नहीं कर सकतीं, जब त्रुटियाँ महंगी होती हैं, या जब आउटपुट को मानवीय मूल्यों और विनियमों के अनुरूप होना चाहिए।
HITL वर्कफ़्लो में आमतौर पर एक प्रतिक्रिया चक्र शामिल होता है: एक मॉडल एक भविष्यवाणी उत्पन्न करता है, एक मानव उसकी समीक्षा या सुधार करता है, और सुधार को मॉडल के अगले प्रशिक्षण पुनरावृत्ति में शामिल किया जाता है। यह चक्र विभिन्न चरणों में लागू किया जा सकता है, डेटा लेबलिंग से लेकर अंतिम निर्णय-निर्माण तक, और यह कई आधुनिक Large language model पाइपलाइनों का एक मुख्य घटक है।
विधियाँ और वर्कफ़्लो
एक सामान्य विधि सक्रिय शिक्षण है, जहाँ मॉडल उन उदाहरणों की पहचान करता है जो उसके प्रदर्शन में सबसे अधिक सुधार करेंगे और उन उदाहरणों के लिए एक मानव एनोटेटर से लेबल का अनुरोध करता है। यह यादृच्छिक नमूने की तुलना में आवश्यक लेबलों की संख्या को कम करता है। इंटरैक्टिव मशीन लर्निंग इसे बढ़ाता है, जिससे उपयोगकर्ता वास्तविक समय में आउटपुट को सही कर सकते हैं; सुधार अतिरिक्त प्रशिक्षण डेटा बन जाते हैं। जनरेटिव मॉडलों के लिए, OpenAI और Anthropic ने मॉडल व्यवहार को उपयोगकर्ता के इरादे के साथ संरेखित करने के लिए मानव प्रतिक्रिया से सुदृढीकरण सीखने (RLHF) का उपयोग किया है। RLHF में, मानव रेटर मॉडल प्रतिक्रियाओं की तुलना करते हैं और उन्हें रैंक करते हैं; ये रैंकिंग एक पुरस्कार मॉडल को प्रशिक्षित करती हैं, जो फिर सुदृढीकरण सीखने के माध्यम से बारीक-ट्यूनिंग का मार्गदर्शन करती हैं। एक संबंधित तकनीक, Reinforcement Learning from AI Feedback (RLAIF), प्रतिक्रिया उत्पन्न करने के लिए एक AI प्रणाली का उपयोग करती है, जिससे मानवीय निगरानी की आवश्यकता कम होती है लेकिन समाप्त नहीं होती।
HITL Deep learning और Neural network प्रशिक्षण के साथ भी प्रतिच्छेद करता है। उदाहरण के लिए, Transformer (architecture) मॉडल को अक्सर प्रारंभिक अनपर्यवेक्षित प्रीट्रेनिंग चरण के बाद मानवीय प्राथमिकताओं के साथ बारीक-ट्यून किया जाता है। कुछ प्रणालियाँ HITL को Curriculum Learning के साथ जोड़ती हैं, जहाँ कार्यों को आसान से कठिन क्रम में व्यवस्थित किया जाता है, और मानवीय प्रतिक्रिया सबसे कठिन उदाहरणों पर केंद्रित होती है।
अनुप्रयोग
स्वायत्त ड्राइविंग में, Waymo और Tesla दूरस्थ ऑपरेटरों और सुरक्षा ड्राइवरों को नियुक्त करते हैं ताकि वे उन किनारे मामलों को संभाल सकें जिन्हें उनकी धारणा प्रणालियाँ आत्मविश्वास से हल नहीं कर सकतीं। ये मानवीय हस्तक्षेप लॉग किए जाते हैं और बाद के मॉडल संस्करणों को सुधारने के लिए उपयोग किए जाते हैं। स्वास्थ्य सेवा में, Intuitive Surgical की da Vinci प्रणाली सर्जनों को रोबोटिक उपकरणों को नियंत्रित करने में सक्षम बनाती है, और AI-सहायता प्राप्त नैदानिक उपकरणों के लिए अक्सर एक चिकित्सक को स्वचालित निष्कर्षों की पुष्टि या ओवरराइड करने की आवश्यकता होती है। सामग्री मॉडरेशन प्लेटफ़ॉर्म HITL का उपयोग फ़्लैग किए गए पोस्ट की समीक्षा करने के लिए करते हैं, विशेष रूप से नफरत भाषण या गलत सूचना जैसे सूक्ष्म मुद्दों के लिए।
क्लाउड प्रदाता प्रबंधित HITL सेवाएँ प्रदान करते हैं: Amazon Web Services SageMaker Ground Truth और Google Cloud AI Platform डेटा लेबलिंग ग्राहकों को मानव एनोटेटर के साथ कस्टम डेटासेट बनाने की अनुमति देते हैं। Microsoft Azure एक समान लेबलिंग सेवा प्रदान करता है। ये सेवाएँ क्राउडसोर्सिंग प्लेटफ़ॉर्म के साथ एकीकृत होती हैं और जनरेटिव AI अनुप्रयोगों के लिए मॉडल प्रशिक्षित करने के लिए उपयोग की जा सकती हैं।
इतिहास और अनुसंधान
स्वचालित प्रणालियों की निगरानी करने वाले मानव की अवधारणा 20वीं सदी के मध्य के नियंत्रण सिद्धांत और मानव कारक इंजीनियरिंग से जुड़ी है। 1960 के दशक में, Xerox PARC के शोधकर्ताओं ने इंटरैक्टिव कंप्यूटिंग की खोज की, और बाद में MIT CSAIL में काम ने जाँच की कि मानव उदाहरणों और सुधारों के माध्यम से मशीन लर्निंग का मार्गदर्शन कैसे कर सकते हैं। 2000 के दशक में Amazon Mechanical Turk जैसे क्राउडसोर्सिंग प्लेटफ़ॉर्म आए, जिसने बड़े पैमाने पर मानव एनोटेशन को आर्थिक रूप से व्यवहार्य बना दिया। इंटरैक्टिव मशीन लर्निंग पर शैक्षणिक अनुसंधान 2000 के दशक में विस्तारित हुआ, जिसमें कई संस्थानों से योगदान मिला।
चुनौतियाँ और सीमाएँ
HITL महत्वपूर्ण लागत और विलंबता का परिचय देता है। मानव एनोटेशन महंगा है, और समीक्षा के लिए आवश्यक समय वास्तविक समय के अनुप्रयोगों को धीमा कर सकता है। एनोटेटर असहमति आम है, और मानवीय निर्णय में पूर्वाग्रह मॉडलों में एन्कोड किए जा सकते हैं। Aleksander Madry और सहयोगियों द्वारा शोध से पता चला है कि मानवीय प्रतिक्रिया असंगत हो सकती है, विशेष रूप से जब कार्य व्यक्तिपरक होते हैं या जब रेटर विरोधी इनपुट से प्रभावित होते हैं। इन मुद्दों को कम करने के लिए, चिकित्सक सिंथेटिक प्रशिक्षण उदाहरण उत्पन्न करने के लिए डेटा संवर्धन का उपयोग करते हैं, और Model Pruning का उपयोग मॉडल को सरल बनाने और मानव समीक्षा की आवश्यकता वाले निर्णयों की संख्या को कम करने के लिए करते हैं। उच्च-दांव वाले क्षेत्रों में, नियामक ढाँचे तेजी से स्वचालित निर्णयों के लिए मानव-इन-द-लूप की आवश्यकता होती है, लेकिन व्यावहारिक कार्यान्वयन एक खुली चुनौती बनी हुई है।
भविष्य की दिशाएँ
जैसे-जैसे AI प्रणालियाँ अधिक सक्षम होती जाती हैं, मनुष्यों की भूमिका प्रति-उदाहरण लेबलिंग से उच्च-स्तरीय संरेखण और ऑडिटिंग की ओर स्थानांतरित हो रही है। Google DeepMind ने स्केलेबल निगरानी का अध्ययन किया है, जहाँ छोटे मॉडल बड़े मॉडलों के मूल्यांकन में सहायता करते हैं, और OpenAI और Anthropic ने मॉडल विकास के दौरान मानवीय प्रतिक्रिया को शामिल करने के लिए दिशानिर्देश प्रकाशित किए हैं। ट्रांसफॉर्मर-आधारित आर्किटेक्चर और न्यूरल-नेटवर्क प्रशिक्षण पाइपलाइनों के साथ HITL का एकीकरण एक सक्रिय अनुसंधान क्षेत्र है, जिसमें विश्वसनीयता और निष्पक्षता बनाए रखते हुए आवश्यक मानवीय प्रयास की मात्रा को कम करने पर ध्यान केंद्रित किया गया है।