KI-gestützter Arbeitsablauf zur Klassifizierung von Teilen für große CSV-/Excel-Daten

Zunächst kann diese Aufgabe nicht in einem Durchgang erledigt werden. Du musst sie in einfachere Aufgaben zerlegen und KI dabei helfen lassen, sie halbmanuell zu vervollständigen. Schwierigkeiten: 1. Excel-Daten müssen gelesen werden 2. KI muss jeden Datensatz klassifizieren 3. Ergebnisse müssen zurück in Excel geschrieben werden 4. 20.000 Datensätze können nicht auf einmal verarbeitet werden; sie müssen in mehrere Stapel aufgeteilt und dann zusammengeführt werden So würde ich vorgehen: 1. Exportiere Excel in CSV und behalte nur die Felder, die für die Klassifizierung benötigt werden, aber zwei Felder sind Pflicht: Teil-ID und Teilbeschreibung. Große Sprachmodelle verarbeiten Text gut und es ist kosteneffizient; reiner Text sollte ausreichen. Multimodal wäre komplexer. 2. Teile die große CSV-Datei mit einem Programm in mehrere kleinere CSV-Dateien auf. 20.000 Datensätze passen nicht in das Kontextfenster. Teste, wie viele Datensätze pro Stapel am besten funktionieren (z. B. 100, 50, 10). 3. Schreibe einen Prompt, der Klassifizierungen basierend auf eingegebenen Teil-IDs und Beschreibungen generiert. Dies ist die Kernaufgabe: a) Definiere vorab Kategorien, aus denen das LLM wählen kann b) Definiere die Ausgabedatenstruktur (JSON, XML, YAML oder CSV) für einfaches Parsen c) Schreibe den Prompt so, dass er die gewünschte Struktur ausgibt Beispiel-Prompt für GPT-4o: Ich habe eine Excel-Datei mit 20.000 Zeilen fragmentierter Teilbeschreibungen. Ich möchte, dass KI jede Zeile klassifiziert. Bitte generiere: - 5 detaillierte Teilbeschreibungen, jeweils etwa ein Absatz - Einen vollständigen Satz von Teilkategorien, etwa 10 Einträge - Einen Prompt, der Teil-IDs und Beschreibungen als Eingabe nimmt und die entsprechende Kategorie im JSON-Format zurückgibt. Eingabebeispiel: [{"id": "123", "description": "XXXXX"}, {"id": "345", "description": "YYYY"}]. Ausgabebeispiel: {"123": "cat1", "345": "cat2"} 4. Schreibe ein Programm, um die LLM-API aufzurufen: a) Lies jeweils eine kleine CSV-Datei b) Parse CSV, um die Teilliste zu erhalten c) Rufe die LLM-API mit dem Prompt und der Teilliste auf d) Parse die API-Antwort, um die ID-Kategorie-Zuordnung zu erhalten e) Speichere als neue CSV mit hinzugefügten Kategorien f) Wiederhole, bis alle Dateien verarbeitet sind 5. Führe alle kategorisierten CSV-Dateien zu einer großen CSV zusammen und importiere sie zurück in Excel. Der Schlüssel ist, komplexe Probleme in kleinere zu zerlegen und KI für jeden Schritt zu nutzen. Wenn du auf Probleme stößt, bitte das LLM um Hilfe.