Flujo de trabajo de clasificación de piezas impulsado por IA para datos grandes en CSV/Excel

Primero, esta tarea no se puede hacer de una sola vez. Necesitas dividirla en tareas más simples y dejar que la IA te ayude a completarlas de forma semimanual. Dificultades: 1. Necesitas leer datos de Excel 2. Necesitas que la IA clasifique cada registro 3. Necesitas escribir los resultados de vuelta en Excel 4. No se pueden procesar 20,000 registros a la vez; necesitas dividirlos en varios lotes y luego fusionarlos Así es como yo lo abordaría: 1. Exporta Excel a CSV, conservando solo los campos necesarios para la clasificación, pero dos campos son obligatorios: ID de pieza y descripción de pieza. Los modelos de lenguaje grandes manejan bien el texto y es rentable; el texto puro debería ser suficiente. El multimodal sería más complejo. 2. Divide el CSV grande en múltiples archivos CSV más pequeños usando un programa. 20,000 registros no caben en la ventana de contexto. Prueba cuántos registros funcionan mejor por lote (por ejemplo, 100, 50, 10). 3. Escribe un prompt que genere clasificaciones basadas en los IDs de pieza y descripciones de entrada. Esta es la tarea central: a) Predefine categorías para que la LLM elija b) Define la estructura de datos de salida (JSON, XML, YAML o CSV) para facilitar el análisis c) Escribe el prompt para que genere la estructura deseada Ejemplo de prompt para GPT-4o: Tengo un Excel con 20,000 filas de descripciones de piezas fragmentadas. Quiero que la IA clasifique cada fila. Por favor, genera: - 5 descripciones detalladas de piezas, aproximadamente un párrafo cada una - Un conjunto completo de categorías de piezas, aproximadamente 10 elementos - Un prompt que tome IDs de pieza y descripciones como entrada y devuelva la categoría correspondiente en formato JSON. Ejemplo de entrada: [{"id": "123", "description": "XXXXX"}, {"id": "345", "description": "YYYY"}]. Ejemplo de salida: {"123": "cat1", "345": "cat2"} 4. Escribe un programa para llamar a la API de la LLM: a) Lee un archivo CSV pequeño a la vez b) Analiza el CSV para obtener la lista de piezas c) Llama a la API de la LLM con el prompt y la lista de piezas d) Analiza la respuesta de la API para obtener el mapeo ID-categoría e) Guarda como un nuevo CSV con las categorías añadidas f) Repite hasta que todos los archivos estén procesados 5. Fusiona todos los archivos CSV categorizados en un solo CSV grande e impórtalo de vuelta a Excel. La clave es dividir problemas complejos en otros más pequeños y usar la IA para cada paso. Cuando encuentres problemas, pide ayuda a la LLM.