Blog›Guides

एंथ्रोपिक के इवैल्यूएटर पैटर्न से गॉन्टलेट लूप तक

गौंटलेट लूप मूल्यांकनकर्ता-अनुकूलक पैटर्न है जिसमें तीन कठोरताएँ हैं: दुनिया रूब्रिक की जगह लेती है, अंधा चयन स्कोर की जगह लेता है, और जीतना राउंड बजट की जगह लेता है।

एंथ्रोपिक के इवैल्यूएटर पैटर्न से गॉन्टलेट लूप तक

एंथ्रोपिक के इवैल्यूएटर पैटर्न से गॉन्टलेट लूप तक

गॉन्टलेट लूप कहीं से नहीं आया। इसका ढांचा इवैल्यूएटर-ऑप्टिमाइज़र पैटर्न है जो एंथ्रोपिक अपनी इंजीनियरिंग गाइड में प्रभावी एजेंट बनाने के बारे में वर्णित करता है: एक घटक जनरेट करता है, दूसरा मानदंडों के खिलाफ मूल्यांकन करता है, और यह जोड़ी पुनरावृत्ति करती है। मैट शूमर का संस्करण जो जोड़ता है वह कठोर विकल्पों का एक सेट है जो एक उचित पैटर्न को एक विश्वसनीय बनाता है।

इवैल्यूएटर पैटर्न, पाठ्यपुस्तक संस्करण

जनरेटर एक ड्राफ्ट तैयार करता है। इवैल्यूएटर इसे मानदंडों के खिलाफ स्कोर करता है। यदि सीमा से नीचे है, तो फीडबैक जनरेटर को वापस जाता है। दोहराएँ। यह तब काम करता है जब मूल्यांकन वास्तव में जनरेशन से अधिक आसान होता है, जो अधिकांश रचनात्मक और दृश्य कार्यों के लिए सत्य है: यह पहचानना कि एक लैंडिंग पेज दूसरे से बेहतर है, बेहतर को बनाने की तुलना में कहीं अधिक आसान है।

जहां पाठ्यपुस्तक संस्करण लीक होता है

तीन जगहें, और सभी में आत्म-निर्णय वापस घुसपैठ करता है:

  • मानदंड के रूप में शब्द। यदि इवैल्यूएटर लिखित रूब्रिक के खिलाफ निर्णय करता है, तो जनरेटर का पारिस्थितिकी तंत्र शब्दों की व्याख्या करने का अवसर पाता है, और व्याख्या पास होने की ओर झुकती है।
  • स्कोर। संख्यात्मक ग्रेड राउंड में ऊपर की ओर बढ़ते हैं क्योंकि वे उम्मीदों से जुड़े होते हैं, न कि वास्तविकता से।
  • राउंड बजट। "3 बार पुनरावृत्ति करें" लूप को गुणवत्ता से नहीं, बल्कि समय से समाप्त करता है।
  • गॉन्टलेट के तीन सख्तीकरण

    गॉन्टलेट लूप प्रत्येक लीक को कुछ बाहरी चीज़ से पैच करता है:

  • मानदंड एक नामित, प्राप्त करने योग्य आर्टिफैक्ट बन जाते हैं - वास्तविक कॉल ऑफ़ ड्यूटी, वास्तविक प्रतिस्पर्धी पेज। दुनिया रूब्रिक की जगह लेती है।
  • स्कोर एक अंधा बाइनरी चयन बन जाते हैं - कौन सा बेहतर है, लेबल हटाए गए। एक बिट, कोई बहाव नहीं।
  • बजट एक अर्जित निकास बन जाता है - लूप तब समाप्त होता है जब चयन उलटता है, या जब कोई मानव इसे रोकता है।
  • साथ ही एक संगठनात्मक कदम जो पाठ्यपुस्तक अंतर्निहित छोड़ देती है: निर्माता और आलोचक अलग-अलग संदर्भों के साथ अलग-अलग एजेंट होते हैं, इसलिए इवैल्यूएटर जनरेटर के अपने काम के प्रति लगाव को विरासत में नहीं ले सकता।

    यह एक वायरल डेमो से परे क्यों मायने रखता है

    सख्त किया गया पैटर्न सामान्य है: कोई भी जनरेट-इवैल्यूएट लूप जो आप चलाते हैं (कोड रिव्यू बॉट्स, कंटेंट पाइपलाइन, एजेंट QA) समान तीन पैच के साथ अधिक ईमानदार हो जाता है। गॉन्टलेट लूप यादगार प्रमाण है कि वे बड़े पैमाने पर काम करते हैं - 55,000 लाइनों का प्रमाण। शुरू करें गॉन्टलेट लूप क्या है से, फिर अपना खुद का लिखें।

    Tags
    gauntlet-loop·agent-loop·prompt-engineering·claude-code·builder-critic·agents