वास्तविक मूल्यांकन बनाने के चार लौह नियम

1. अपने प्रश्न बैंक को आज के मॉडल की कमजोरियों से मत बनाइए - मॉडल की क्षमताएं असमान हैं। यदि आप विशेष रूप से ऐसे प्रश्न चुनते हैं जिन्हें मॉडल आज गलत करता है, तो आप इस विशिष्ट संस्करण की फिंगरप्रिंट खामियों को माप रहे हैं, न कि कार्य की कठिनाई को। अगली पीढ़ी का मॉडल आएगा और आपका बैंक बेकार हो जाएगा। 2. सबसे मजबूत मॉडल को अधिकतम सोच के साथ भी 100 से काफी नीचे स्कोर करना चाहिए - यदि आपका टेस्ट सेट सबसे मजबूत मॉडल को आसानी से पूरे अंक दिला देता है, तो प्रश्न बहुत आसान हैं और आप यह नहीं बता सकते कि बाद के बदलावों ने चीजों में सुधार किया या गिरावट। 3. जज के रूप में प्रोग्राम को प्राथमिकता दें, फिर LLM को - जो कुछ भी कोड से जांचा जा सकता है (यूनिट टेस्ट, JSON Schema सत्यापन) उसके लिए LLM जज का उपयोग नहीं करना चाहिए। जब LLM जज आवश्यक हो, तो अस्पष्ट 1-5 स्कोर का उपयोग न करें; तथ्य-जांच योग्य चेकलिस्ट लिखें या ब्लाइंड A/B तुलना करें। 4. वास्तविक सुधार को यादृच्छिक शोर से अलग करना चाहिए - यदि हर रन में स्कोर बदलते हैं, तो प्रश्न अस्पष्ट हैं या वातावरण ने अवशेष फाइलें छोड़ दी हैं जिससे AI धोखा दे सकता है।