एआई लागत अनुकूलन कार्यप्रवाह: कैश, रूट और बैच

1/ अपने प्रॉम्प्ट के उस हिस्से को कैश करें जो कभी नहीं बदलता। यदि आप हर कॉल पर एक ही सिस्टम प्रॉम्प्ट या नॉलेज बेस भेजते हैं, तो आप उस टेक्स्ट को दोबारा पढ़ने के लिए पूरी कीमत चुकाते हैं जो कभी हिलता नहीं। Anthropic आपको उस स्थिर प्रीफिक्स को कैश करने देता है। कैश रीड की लागत सामान्य इनपुट का 10% है। यानी हर कॉल के दोहराए जाने वाले हिस्से पर 90% की छूट। 2/ लेकिन कैशिंग तभी काम करती है जब प्रीफिक्स एक जैसा हो। एक शब्द बदलें, यहां तक कि एक टाइमस्टैम्प भी, और आप फिर से पूरी कीमत चुकाते हैं। समाधान: स्थिर चीजों को पहले रखें (निर्देश, टूल्स, डॉक्स), और बदलती चीजों को आखिर में। क्रम लोगों के सोचने से ज्यादा मायने रखता है। 3/ पूरी बातचीत को दोबारा भेजना बंद करें। ज्यादातर ऐप्स हर टर्न पर पूरा चैट इतिहास दोबारा भेजते हैं। आपकी लागत हर मैसेज के साथ बढ़ती है। पुराने टर्न्स को एक छोटे चालू सारांश में बदलें। केवल आखिरी कुछ मैसेज शब्द-दर-शब्द रखें। एक 40-मैसेज वाला थ्रेड 5 लाइनों और आखिरी 3 टर्न्स में चल सकता है। 4/ चीजों को भरने के बजाय निकालें। अपने पूरे नॉलेज बेस को 'शायद काम आ जाए' के लिए पेस्ट करना ही बिल फोड़ने का तरीका है। केवल 3 से 5 चंक्स खींचें जो वास्तव में सवाल से मेल खाते हों। आप 50,000 टोकन के कॉन्टेक्स्ट से घटकर लगभग 2,000 पर पहुंच जाते हैं, और जवाब और तेज हो जाते हैं। 5/ सबसे छोटा मॉडल इस्तेमाल करें जो काम कर सके। ज्यादातर रिक्वेस्ट को आपके सबसे बड़े मॉडल की जरूरत नहीं होती। क्लासिफिकेशन, रूटिंग, और छोटी रिप्लाई को Haiku जैसे सस्ते मॉडल पर भेजें। महंगा मॉडल केवल मुश्किल 10% के लिए बचाएं। 6/ आउटपुट को सीमित करें। आउटपुट टोकन आमतौर पर इनपुट से ज्यादा महंगे होते हैं। max_tokens सेट करें और वही सटीक फॉर्मेट मांगें जो आपको चाहिए। 'एक वाक्य में जवाब दें' एक लागत हथियार है, न कि केवल एक स्टाइल विकल्प। 7/ केवल प्रॉम्प्ट ही नहीं, जवाब को भी कैश करें। यदि 500 उपयोगकर्ता एक ही FAQ पूछते हैं, तो आपको 500 मॉडल कॉल की जरूरत नहीं है। आम जवाबों को स्टोर करें और उन्हें सीधे अपने कैश से परोसें। सबसे सस्ता टोकन वह है जिसे आप कभी भेजते ही नहीं। 8/ हर उस चीज को बैच करें जो रीयल-टाइम नहीं है। रात्रिकालीन रिपोर्ट्स, बैकलॉग टैगिंग, एवलुएशन, मॉडल माइग्रेशन। इनमें से किसी को भी तुरंत जवाब की जरूरत नहीं। Anthropic का Batch API इनपुट और आउटपुट पर 50% छूट देता है, और ज्यादातर बैच एक घंटे के भीतर पूरे होते हैं। इसे प्रॉम्प्ट कैशिंग के साथ जोड़ें और इनपुट बचत लगभग 95% तक पहुंच सकती है। 9/ ऑप्टिमाइज़ करने से पहले मापें। भेजने से पहले टोकन गिनें। हर फीचर के लिए उपयोग लॉग करें। आपको लगभग हमेशा एक बड़ा फूला हुआ प्रॉम्प्ट मिलेगा जो ज्यादातर बिल खा रहा है। पहले उसे खत्म करें। अंत में: असीमित एक्सेस कभी मुद्दा नहीं था। टोकन के दसवें हिस्से में वही परिणाम पाना है। यही पूरा खेल है।