एजेंट लाइटनिंग: एजेंट्स के लिए डिकपल्ड आरएल ट्रेनिंग

Agent Lightning एक ओपन-सोर्स फ्रेमवर्क है जो आपके एजेंट रनटाइम को ट्रेनिंग लूप से अलग करता है। मुख्य विचार: आपका एजेंट और ट्रेनर कभी एक-दूसरे को स्पर्श नहीं करते। एजेंट वैसे ही चलता है जैसे वह पहले से चलता है (LangChain, AutoGen, CrewAI, OpenAI SDK, या सादा Python) और चलते समय स्पैन उत्सर्जित करता है। ट्रेनर एक साझा स्टोर के दूसरी तरफ बैठता है और उन स्पैन को पढ़ता है। कोई भी पक्ष दूसरे को इम्पोर्ट नहीं करता। यह मायने रखता है क्योंकि किसी मौजूदा एजेंट को RL-ट्रेन करने योग्य बनाने का मतलब आमतौर पर उसे ट्रेनर के डेटा मॉडल के आसपास फिर से लिखना होता है, या पहले दिन से एजेंट को ट्रेनर के फ्रेमवर्क के अंदर बनाना होता है। यहाँ रनटाइम अपनी जगह पर रहता है और ट्रेनिंग लूप बाहर से जोड़ा जाता है। मैकेनिक्स: → हर प्रॉम्प्ट, टूल कॉल, और रिवॉर्ड को एक संरचित स्पैन के रूप में कैप्चर किया जाता है, या तो emit_xxx हेल्पर के माध्यम से जिसे आप डालते हैं या एक ट्रेसर के माध्यम से जो उन्हें स्वचालित रूप से उठा लेता है। → स्पैन एक केंद्रीय LightningStore में प्रवाहित होते हैं जो टास्क, संसाधन, और ट्रेस रखता है। एजेंट रनर और एल्गोरिदम दोनों यहाँ पढ़ते और लिखते हैं, और यही उनके बीच एकमात्र अनुबंध है। → एल्गोरिदम स्लॉट प्लग करने योग्य है। रीइन्फोर्समेंट लर्निंग, स्वचालित प्रॉम्प्ट ऑप्टिमाइज़ेशन, और सुपरवाइज़्ड फाइन-ट्यूनिंग सभी एक ही इंटरफेस में फिट होते हैं, और यह एक ऐसा एल्गोरिदम हो सकता है जिसे आपने खुद लिखा हो। → मल्टी-एजेंट सिस्टम में आप ट्रेनर को एक विशिष्ट एजेंट की ओर इंगित कर सकते हैं और बाकी को अकेला छोड़ सकते हैं। बाकी अभी भी चलते हैं और स्पैन उत्सर्जित करते हैं, लेकिन केवल चयनित एजेंट को अपडेटेड वेट या प्रॉम्प्ट वापस मिलते हैं। आखिरी वाला वह है जिसे मैं वास्तव में उपयोग करना चाहूँगा। अधिकांश एजेंट RL कार्य मानते हैं कि आपके पास प्रशिक्षित करने के लिए एक मॉडल है। वास्तविक सिस्टम में एक प्लानर, कुछ विशेषज्ञ, एक क्रिटिक होता है, और आप केवल उस पर वेट हिलाना चाहते हैं जो वास्तव में बाधा है। पूरे ग्राफ को अलग किए बिना उसे अलग करने में सक्षम होना एक शोध डेमो और प्रोडक्शन में चलने वाली चीज़ के बीच का अंतर है। 2025 में शिप होने वाला लगभग हर एजेंट फ्रेमवर्क रनटाइम-प्रथम था। यह ट्रेनिंग-प्रथम है और आपके एजेंट को बनाने के लिए जिस फ्रेमवर्क का उपयोग किया गया है उसे एक आवश्यकता के बजाय एक कार्यान्वयन विवरण के रूप में मानता है।