बड़े CSV/एक्सेल डेटा के लिए AI-संचालित पार्ट्स वर्गीकरण वर्कफ़्लो

सबसे पहले, यह कार्य एक बार में नहीं किया जा सकता। आपको इसे सरल कार्यों में विभाजित करना होगा और AI की मदद से उन्हें अर्ध-मैन्युअल रूप से पूरा करना होगा। कठिनाइयाँ: 1. Excel डेटा पढ़ने की आवश्यकता 2. प्रत्येक रिकॉर्ड को वर्गीकृत करने के लिए AI की आवश्यकता 3. परिणामों को वापस Excel में लिखने की आवश्यकता 4. एक साथ 20,000 रिकॉर्ड प्रोसेस नहीं कर सकते; कई बैचों में विभाजित करना होगा और फिर मर्ज करना होगा मैं इसे इस तरह से करूँगा: 1. Excel को CSV में एक्सपोर्ट करें, केवल वर्गीकरण के लिए आवश्यक फ़ील्ड रखें, लेकिन दो फ़ील्ड अनिवार्य हैं: पार्ट आईडी और पार्ट विवरण। बड़े भाषा मॉडल टेक्स्ट को अच्छी तरह से संभालते हैं और यह लागत प्रभावी है; शुद्ध टेक्स्ट पर्याप्त होना चाहिए। मल्टीमॉडल अधिक जटिल होगा। 2. एक प्रोग्राम का उपयोग करके बड़े CSV को कई छोटे CSV फ़ाइलों में विभाजित करें। 20,000 रिकॉर्ड कॉन्टेक्स्ट विंडो में फिट नहीं होंगे। परीक्षण करें कि प्रति बैच कितने रिकॉर्ड सबसे अच्छे काम करते हैं (जैसे, 100, 50, 10)। 3. एक प्रॉम्प्ट लिखें जो इनपुट पार्ट आईडी और विवरण के आधार पर वर्गीकरण उत्पन्न करे। यह मुख्य कार्य है: a) LLM के लिए चुनने हेतु श्रेणियाँ पहले से परिभाषित करें b) आउटपुट डेटा संरचना (JSON, XML, YAML, या CSV) परिभाषित करें ताकि पार्स करना आसान हो c) प्रॉम्प्ट लिखें जो वांछित संरचना आउटपुट करे GPT-4o के लिए उदाहरण प्रॉम्प्ट: मेरे पास एक Excel है जिसमें 20,000 पंक्तियों के खंडित पार्ट विवरण हैं। मैं चाहता हूँ कि AI प्रत्येक पंक्ति को वर्गीकृत करे। कृपया उत्पन्न करें: - 5 विस्तृत पार्ट विवरण, प्रत्येक लगभग एक पैराग्राफ - पार्ट श्रेणियों का एक पूरा सेट, लगभग 10 आइटम - एक प्रॉम्प्ट जो पार्ट आईडी और विवरण को इनपुट के रूप में ले और JSON प्रारूप में संबंधित श्रेणी लौटाए। इनपुट उदाहरण: [{"id": "123", "description": "XXXXX"}, {"id": "345", "description": "YYYY"}]. आउटपुट उदाहरण: {"123": "cat1", "345": "cat2"} 4. LLM API को कॉल करने के लिए एक प्रोग्राम लिखें: a) एक समय में एक छोटी CSV फ़ाइल पढ़ें b) पार्ट सूची प्राप्त करने के लिए CSV पार्स करें c) प्रॉम्प्ट और पार्ट सूची के साथ LLM API को कॉल करें d) ID-श्रेणी मैपिंग प्राप्त करने के लिए API प्रतिक्रिया पार्स करें e) श्रेणियाँ जोड़कर नई CSV के रूप में सहेजें f) जब तक सभी फ़ाइलें प्रोसेस न हो जाएँ, दोहराएँ 5. सभी वर्गीकृत CSV फ़ाइलों को एक बड़े CSV में मर्ज करें और वापस Excel में आयात करें। मुख्य बात यह है कि जटिल समस्याओं को छोटी समस्याओं में विभाजित करें और प्रत्येक चरण के लिए AI का उपयोग करें। जब समस्याएँ आएँ, तो LLM से मदद माँगें।