क्यों ब्लाइंड तुलना रूब्रिक्स से बेहतर है: कठोर आलोचक का डिज़ाइन

ब्लाइंड तुलना रूब्रिक्स से बेहतर क्यों है: द हार्श क्रिटिक का डिज़ाइन

हर असफल सेल्फ-इम्प्रूवमेंट लूप उसी तरह विफल होता है: मॉडल अपने काम का मूल्यांकन खुद करता है, ग्रेड बढ़ जाता है, लूप जल्दी जीत घोषित कर देता है। गॉन्टलेट लूप का उत्तर एक क्रिटिक है जो तीन जानबूझकर चुने गए विकल्पों के आसपास डिज़ाइन किया गया है। यदि आप इन्हें सही पाते हैं, तो बाकी सब विवरण है।

विकल्प 1: एक अलग एजेंट, ताज़ा संदर्भ

क्रिटिक वह बिल्डर नहीं होना चाहिए जो अलग टोपी पहन रहा हो। यह ताज़ा संदर्भ के साथ चलता है: इसने बिल्डर की योजना, उसके बहाने, या यह कि कितने राउंड लगे, कभी नहीं देखा। यह दो आर्टिफैक्ट देखता है। यह शिष्टाचार नहीं है; मॉडल व्यवस्थित रूप से उस काम के प्रति दयालु होते हैं जो उन्होंने खुद बनाया है, और उस काम के प्रति और भी दयालु होते हैं जिसे वे जानते हैं कि कठिन था। ताज़ा संदर्भ उस पूर्वाग्रह को जड़ से मिटा देता है।

विकल्प 2: स्कोर नहीं, बाइनरी चयन

10 में से स्कोर मांगें और आपको पहले राउंड में 7, अगले में 8, फिर 9 मिलेगा, चाहे वास्तविक प्रगति कुछ भी हो। स्कोर अपेक्षाओं के सापेक्ष होते हैं, और अपेक्षाएं बदलती रहती हैं। एक ब्लाइंड साइड-बाय-साइड चयन भटक नहीं सकता: क्रिटिक आपके काम और बार को देखता है, लेबल हटाए हुए, और कहता है कि कौन सा बेहतर है। आउटपुट का एक बिट, जिसकी चापलूसी करना असंभव है।

विकल्प 3: बार एक वास्तविक चीज़ है, शब्द नहीं

रूब्रिक वह टेक्स्ट है जिसकी व्याख्या एजेंट कर सकता है; व्याख्या हमेशा पास होने की ओर झुकती है। बार एक नामित, प्राप्त करने योग्य आर्टिफैक्ट है: असली कॉल ऑफ ड्यूटी, असली प्रतियोगी पेज, असली प्रकाशित निबंध। क्रिटिक गुणवत्ता की व्याख्या नहीं करता, यह हार का अवलोकन करता है। जब काम अंततः ब्लाइंड चयन जीतता है, तो उसका मतलब कुछ होता है।

कठोरता कार्यात्मक है

"क्रिटिक को वास्तव में कठोर बनाओ" स्वाद जैसा लगता है, लेकिन यह भार वहन करने वाला है: एक तटस्थ क्रिटिक अनुमोदन पर सहमत हो जाता है क्योंकि अनुमोदन कार्य समाप्त कर देता है। कठोरता और एक आवश्यक आउटपुट (सबसे बड़ा अंतर बताएं) क्रिटिक को एक ग्रेडिएंट में बदल देता है: हर राउंड, बिल्डर जानता है कि वास्तव में क्या ठीक करना है और कुछ और नहीं।

वंशावली

यह Anthropic की building-effective-agents प्लेबुक से इवैल्यूएटर-ऑप्टिमाइज़र पैटर्न है, जिसे उसकी ईमानदार चरम सीमा तक धकेला गया है - देखें इवैल्यूएटर पैटर्न से गॉन्टलेट लूप तक। इसे वास्तविक रूप में देखने के लिए: मूल प्रॉम्प्ट, और विफलता के तरीके जब तीन विकल्पों में से एक गलत हो जाता है।