Workflow de classification de pièces propulsé par IA pour de grandes données CSV/Excel

D'abord, cette tâche ne peut pas être réalisée en une seule fois. Vous devez la décomposer en tâches plus simples et laisser l'IA vous aider à les accomplir de manière semi-manuelle. Difficultés : 1. Besoin de lire les données Excel 2. Besoin que l'IA classe chaque enregistrement 3. Besoin d'écrire les résultats dans Excel 4. Impossible de traiter 20 000 enregistrements en une fois ; il faut les diviser en plusieurs lots puis les fusionner Voici comment je procéderais : 1. Exporter Excel vers CSV, en ne gardant que les champs nécessaires à la classification, mais deux champs sont obligatoires : Part ID et Part Description. Les grands modèles de langage gèrent bien le texte et c'est rentable ; le texte pur devrait suffire. Le multimodal serait plus complexe. 2. Diviser le grand CSV en plusieurs petits fichiers CSV à l'aide d'un programme. 20 000 enregistrements ne tiendront pas dans la fenêtre de contexte. Testez combien d'enregistrements fonctionnent le mieux par lot (par exemple, 100, 50, 10). 3. Rédiger un prompt qui génère des classifications à partir des IDs et descriptions de pièces fournis. C'est la tâche centrale : a) Prédéfinir des catégories pour que le LLM choisisse b) Définir la structure de données de sortie (JSON, XML, YAML ou CSV) pour un parsing facile c) Rédiger le prompt pour produire la structure souhaitée Exemple de prompt pour GPT-4o : J'ai un Excel avec 20 000 lignes de descriptions de pièces fragmentées. Je veux que l'IA classe chaque ligne. Veuillez générer : - 5 descriptions détaillées de pièces, environ 1 paragraphe chacune - Un ensemble complet de catégories de pièces, environ 10 éléments - Un prompt qui prend les IDs et descriptions de pièces en entrée et renvoie la catégorie correspondante au format JSON. Exemple d'entrée : [{"id": "123", "description": "XXXXX"}, {"id": "345", "description": "YYYY"}]. Exemple de sortie : {"123": "cat1", "345": "cat2"} 4. Écrire un programme pour appeler l'API du LLM : a) Lire un petit fichier CSV à la fois b) Parser le CSV pour obtenir la liste des pièces c) Appeler l'API du LLM avec le prompt et la liste des pièces d) Parser la réponse de l'API pour obtenir le mapping ID-catégorie e) Enregistrer sous un nouveau CSV avec les catégories ajoutées f) Répéter jusqu'à ce que tous les fichiers soient traités 5. Fusionner tous les fichiers CSV catégorisés en un seul grand CSV et le réimporter dans Excel. La clé est de décomposer les problèmes complexes en plus petits et d'utiliser l'IA pour chaque étape. Lorsque vous rencontrez des problèmes, demandez de l'aide au LLM.