AIを活用した大規模CSV/Excelデータの部品分類ワークフロー

まず、このタスクは一度では完了できません。より単純なタスクに分解し、AIに半手動で完了させる必要があります。 難点： 1. Excelデータの読み取りが必要 2. 各レコードをAIで分類する必要がある 3. 結果をExcelに書き戻す必要がある 4. 20,000件のレコードを一度に処理できないため、複数のバッチに分割してからマージする必要がある 私のアプローチは次のとおりです： 1. ExcelをCSVにエクスポートし、分類に必要なフィールドのみを保持します。ただし、2つのフィールドは必須です：部品IDと部品説明。大規模言語モデルはテキストをうまく処理し、コスト効率が良いです。純粋なテキストで十分です。マルチモーダルはより複雑になります。 2. プログラムを使用して大きなCSVを複数の小さなCSVファイルに分割します。20,000件のレコードはコンテキストウィンドウに収まりません。バッチごとに最適なレコード数をテストします（例：100、50、10）。 3. 入力された部品IDと説明に基づいて分類を生成するプロンプトを書きます。これが中核タスクです： a) LLMが選択するためのカテゴリを事前定義する b) 解析しやすいように出力データ構造（JSON、XML、YAML、またはCSV）を定義する c) 望ましい構造を出力するプロンプトを書く GPT-4o用のプロンプト例： 20,000行の断片的な部品説明を含むExcelがあります。各行をAIで分類したいです。以下を生成してください： - 詳細な部品説明5つ、それぞれ約1段落 - 完全な部品カテゴリセット、約10項目 - 部品IDと説明を入力として受け取り、対応するカテゴリをJSON形式で返すプロンプト。入力例：[{"id": "123", "description": "XXXXX"}, {"id": "345", "description": "YYYY"}]。出力例：{"123": "cat1", "345": "cat2"} 4. LLM APIを呼び出すプログラムを書きます： a) 一度に1つの小さなCSVファイルを読み取る b) CSVを解析して部品リストを取得する c) プロンプトと部品リストを使用してLLM APIを呼び出す d) APIレスポンスを解析してIDとカテゴリのマッピングを取得する e) カテゴリを追加した新しいCSVとして保存する f) すべてのファイルが処理されるまで繰り返す 5. 分類されたすべてのCSVファイルを1つの大きなCSVにマージし、Excelにインポートし直します。 重要なのは、複雑な問題をより小さな問題に分解し、各ステップでAIを使用することです。問題が発生した場合は、LLMに助けを求めてください。