संदर्भ विंडो अनुकूलन गाइड

1. GPT-4-128K: जब संदर्भ 73K टोकन से कम हो, तो कोई जानकारी हानि नहीं होती। 73K से अधिक होने पर, बीच के 7%-50% हिस्से की जानकारी भूल सकती है। 2. Claude-2.1-200K: 24K संदर्भ के तहत सर्वश्रेष्ठ, 24K के बाद गिरावट, 90K के बाद बहुत खराब। 3. संदर्भ को छोटा रखें; लंबे टेक्स्ट को मैन्युअल या स्वचालित रूप से विभाजित करें। GPT-4 के लिए, 73K से अधिक न करें (इनपुट + आउटपुट मिलाकर)। 4. सिस्टम प्रॉम्प्ट शुरुआत या अंत में हो सकता है; इसे अंत में रखना बेहतर है। 5. यदि सिस्टम प्रॉम्प्ट शुरुआत में है, तो GPT-4 के लिए इसे संदर्भ के 5% से कम रखें; Claude के लिए, 1% से कम। 6. GPTs के प्रॉम्प्ट बिल्कुल शुरुआत में होने चाहिए, इसलिए उन्हें 5% से कम रखें (उदाहरण: 128 * 0.05 = 6.4K टोकन)।