Fluxo de Trabalho de Classificação de Peças com IA para Grandes Dados CSV/Excel

Primeiro, esta tarefa não pode ser feita de uma só vez. Você precisa dividi-la em tarefas mais simples e deixar a IA ajudá-lo a completá-las de forma semimanual. Dificuldades: 1. Necessidade de ler dados do Excel 2. Necessidade de a IA classificar cada registro 3. Necessidade de gravar os resultados de volta no Excel 4. Não é possível processar 20.000 registros de uma vez; é preciso dividir em vários lotes e depois mesclar Aqui está como eu abordaria isso: 1. Exportar o Excel para CSV, mantendo apenas os campos necessários para a classificação, mas dois campos são obrigatórios: ID da Peça e Descrição da Peça. Modelos de linguagem grandes lidam bem com texto e são econômicos; texto puro deve ser suficiente. Multimodal seria mais complexo. 2. Dividir o CSV grande em vários arquivos CSV menores usando um programa. 20.000 registros não caberão na janela de contexto. Teste quantos registros funcionam melhor por lote (por exemplo, 100, 50, 10). 3. Escrever um prompt que gere classificações com base nos IDs e descrições de peças fornecidos. Esta é a tarefa central: a) Pré-definir categorias para o LLM escolher b) Definir a estrutura de dados de saída (JSON, XML, YAML ou CSV) para facilitar a análise c) Escrever o prompt para gerar a estrutura desejada Exemplo de prompt para GPT-4o: Tenho um Excel com 20.000 linhas de descrições fragmentadas de peças. Quero que a IA classifique cada linha. Por favor, gere: - 5 descrições detalhadas de peças, com cerca de 1 parágrafo cada - Um conjunto completo de categorias de peças, com cerca de 10 itens - Um prompt que receba IDs e descrições de peças como entrada e retorne a categoria correspondente em formato JSON. Exemplo de entrada: [{"id": "123", "description": "XXXXX"}, {"id": "345", "description": "YYYY"}]. Exemplo de saída: {"123": "cat1", "345": "cat2"} 4. Escrever um programa para chamar a API do LLM: a) Ler um arquivo CSV pequeno por vez b) Analisar o CSV para obter a lista de peças c) Chamar a API do LLM com o prompt e a lista de peças d) Analisar a resposta da API para obter o mapeamento ID-categoria e) Salvar como um novo CSV com as categorias adicionadas f) Repetir até que todos os arquivos sejam processados 5. Mesclar todos os arquivos CSV categorizados em um único CSV grande e importar de volta para o Excel. O segredo é dividir problemas complexos em problemas menores e usar a IA para cada etapa. Quando encontrar problemas, peça ajuda ao LLM.