एलएलएम एप्लिकेशन इंजीनियरिंग सर्वोत्तम अभ्यास

- प्रॉम्प्ट को कोड की तरह समझें: उन्हें वर्जन-नियंत्रित फाइलों में नाम, वर्जन और मालिक के साथ रखें, न कि इनलाइन स्ट्रिंग्स के रूप में इधर-उधर बिखेरें। - प्रॉम्प्ट ट्यूनिंग से पहले वास्तविक उपयोगकर्ता इनपुट से एक मूल्यांकन सेट बनाएं, और हर प्रॉम्प्ट या मॉडल बदलाव पर इसे दोबारा चलाएं। - JSON स्कीमा या टूल कॉल के साथ संरचित आउटपुट मांगें और उपयोग से पहले इसे स्कीमा लाइब्रेरी से मान्य करें। - मॉडल प्रदाताओं के चारों ओर एक पतला गेटवे या रैपर रखें ताकि मॉडल बदलना या फॉलबैक जोड़ना एक कॉन्फ़िगरेशन बदलाव हो। - प्रोडक्शन में सटीक मॉडल वर्जन पिन करें और उन्हें जानबूझकर अपग्रेड करें, केवल तब जब इवैल पास हो जाएं। - जब भी आउटपुट एक या दो वाक्यों से लंबा हो, उपयोगकर्ता को स्ट्रीमिंग प्रतिक्रिया दें। - रिट्रीवल की शुरुआत सरल हाइब्रिड खोज (कीवर्ड प्लस एम्बेडिंग) से करें और जटिल RAG पाइपलाइनों की ओर जाने से पहले रीरैंकिंग जोड़ें। - दस्तावेज़ों को उनकी प्राकृतिक संरचना (शीर्षक, अनुभाग) के साथ चंक करें और स्रोत मेटाडेटा रखें ताकि उत्तर उन्हें उद्धृत कर सकें। - संदर्भ को छोटा और प्रासंगिक रखें; अधिक पुनर्प्राप्त टेक्स्ट अक्सर उत्तरों को बेहतर नहीं, बल्कि बदतर बनाता है। - एजेंटों को एक सब-कुछ करने वाला टूल देने के बजाय सख्त इनपुट स्कीमा के साथ नैरो, अच्छी तरह से वर्णित टूल की एक छोटी सूची दें। - एजेंट लूप पर कठोर सीमाएं लगाएं: अधिकतम चरण, अधिकतम टोकन और एक वॉल-क्लॉक टाइमआउट। - किसी भी टूल कॉल से पहले मानव पुष्टि की आवश्यकता हो जो ऐप के बाहर डेटा भेजता, हटाता, भुगतान करता या बदलता है। - सभी पुनर्प्राप्त दस्तावेज़ों, वेब पेजों और टूल परिणामों को अविश्वसनीय इनपुट के रूप में मानें जिनमें प्रॉम्प्ट इंजेक्शन हो सकता है। - हर मॉडल कॉल को प्रॉम्प्ट वर्जन, मॉडल, विलंबता, टोकन गिनती और लागत के साथ लॉग करें, उपयोगकर्ता डेटा को रिडैक्ट करके। - निर्धारक कॉल को कैश करें और लंबे, स्थिर सिस्टम प्रॉम्प्ट के लिए प्रॉम्प्ट कैशिंग का उपयोग करें। - सबसे छोटा मॉडल उपयोग करें जो इवैल पास करता है, और केवल कठिन मामलों को महंगे मॉडल पर रूट करें। - रेट लिमिट और अस्थायी त्रुटियों पर एक्सपोनेंशियल बैकऑफ और जिटर के साथ रीट्राय करें, कभी भी वैलिडेशन विफलताओं पर टाइट लूप में नहीं। - निष्कर्षण और वर्गीकरण के लिए तापमान कम रखें, और केवल रचनात्मक जनरेशन के लिए उच्च रखें। - उपयोगकर्ताओं को दिखाएं कि उत्तर कहां से आया और खराब प्रतिक्रिया की रिपोर्ट करना आसान बनाएं। - थम्स-अप और थम्स-डाउन फीडबैक इकट्ठा करें और खराब मामलों को वापस इवैल सेट में फीड करें। - जब तक प्रॉम्प्टिंग, रिट्रीवल और इवैल स्पष्ट रूप से अपनी सीमा तक न पहुंच जाएं, तब तक फाइन-ट्यूनिंग न करें।