Universeller Handler für fehlende Werte in ML-Pipelines

# PROMPT() - UNIVERSALER BEHANDLER FÜR FEHLENDE WERTE > **Version**: 1.0 | **Framework**: CoT + ToT | **Stack**: Python / Pandas / Scikit-learn --- ## KONSTANTE VARIABLEN | Variable | Definition | |----------|------------| | `PROMPT()` | Diese Master-Vorlage - steuert alle Überlegungen, Regeln und Entscheidungen | | `DATA()` | Ihr roher Datensatz für die Analyse | --- ## ROLLE Sie sind ein **Senior Data Scientist und ML-Pipeline-Ingenieur**, spezialisiert auf Datenqualität, Feature-Engineering und Vorverarbeitung für produktionsreife ML-Systeme. Ihre Aufgabe ist es, `DATA()` zu analysieren und einen vollständig reproduzierbaren, erklärbaren Behandlungsplan für fehlende Werte zu erstellen. --- ## SO VERWENDEN SIE DIESEN PROMPT ``` 1. Fügen Sie Ihre rohen DATA() am Ende dieser Datei ein (oder geben Sie df.head(20) + df.info() Ausgabe an) 2. Geben Sie Ihre ML-Aufgabe an: Klassifikation / Regression / Clustering / Nur EDA 3. Geben Sie Ihre Zielspalte (y) an 4. Geben Sie Ihren beabsichtigten Modelltyp an (baum-basiert vs. linear vs. neuronales Netz) 5. Führen Sie Phase 1 → 5 in strenger Reihenfolge aus ────────────────────────────────────────────────────────────── DATA() = [FÜGEN SIE HIER IHREN DATENSATZ EIN] ML_TASK = [z.B., Binäre Klassifikation] TARGET_COL = [z.B., "price"] MODEL_TYPE = [z.B., XGBoost / LinearRegression / Neural Network] ────────────────────────────────────────────────────────────── ``` --- ## PHASE 1 - AUFKLÄRUNG ### *Chain of Thought: Denken Sie Schritt für Schritt, bevor Sie Maßnahmen ergreifen.* **Schritt 1.1 - Profil von DATA()** Beantworten Sie jede Frage explizit, bevor Sie fortfahren: ``` 1. Welche Form hat DATA()? (Zeilen × Spalten) 2. Wie lauten die Spaltennamen und ihre Datentypen? - Numerisch → kontinuierlich (float) oder diskret (int/count) - Kategorial → nominal (keine Reihenfolge) oder ordinal (Rangfolge) - Datum/Uhrzeit → sequenzielle Zeitstempel - Text → Freiform-Strings - Boolesch → binäre Flags (0/1, True/False) 3. Was ist der Kontext der ML-Aufgabe? - Klassifikation / Regression / Clustering / Nur EDA 4. Welche Spalten sind Features (X) vs. Ziel (y)? 5. Gibt es getarnte fehlende Werte? - Achten Sie auf: "?", "N/A", "unknown", "none", " - ", "-", 0 (bei Alter/Preis) - Diese MÜSSEN VOR der Analyse in NaN umgewandelt werden. 6. Welche Domänen-/Geschäftsregeln gelten für kritische Spalten? - z.B., "Alter darf nicht 0 oder negativ sein" - z.B., "CustomerID muss eindeutig und nicht null sein" - z.B., "Preis ist das Ziel - Zeilen ohne diesen sind unbrauchbar" ``` **Schritt 1.2 - Quantifizieren Sie die Fehlstellen** ```python import pandas as pd import numpy as np df = DATA().copy() # IMMER auf einer Kopie arbeiten - nie das Original verändern # Schritt 0: Getarnte fehlende Werte standardisieren DISGUISED_NULLS = ["?", "N/A", "n/a", "unknown", "none", " - ", "-", ""] df.replace(DISGUISED_NULLS, np.nan, inplace=True) # Schritt 1: Fehlstellenbericht erstellen missing_report = pd.DataFrame({ 'Column' : df.columns, 'Missing_Count' : df.isnull().sum().values, 'Missing_%' : (df.isnull().sum() / len(df) * 100).round(2).values, 'Dtype' : df.dtypes.values, 'Unique_Values' : df.nunique().values, 'Sample_NonNull' : [df[c].dropna().head(3).tolist() for c in df.columns] }) missing_report = missing_report[missing_report['Missing_Count'] > 0] missing_report = missing_report.sort_values('Missing_%', ascending=False) print(missing_report.to_string()) print(f"\nSpalten mit fehlenden Werten insgesamt: {len(missing_report)}") print(f"Fehlende Zellen insgesamt: {df.isnull().sum().sum()}") ``` --- ## PHASE 2 - DIAGNOSE DER FEHLSTELLEN ### *Tree of Thought: Erkunden Sie ALLE drei Zweige, bevor Sie entscheiden.* Für **jede Spalte** mit fehlenden Werten bewerten Sie alle drei Zweige gleichzeitig: ``` ┌────────────────────────────────────────────────────────────┐ │ ENTSCHEIDUNGSBAUM ZUM MECHANISMUS FEHLENDER WERTE │ │ │ │ KERNFRAGE: WARUM fehlt dieser Wert? │ │ │ │ ├── ZWEIG A: MCAR - Völlig zufällig fehlend │ │ │ Anzeichen: Kein Muster. Fehlende Zeilen sehen aus wie der Rest.│ │ │ Test: Visuelle Heatmap / Little's MCAR-Test │ │ │ Risiko: Niedrig - sicher, Zeilen zu entfernen ODER frei zu imputieren│ │ │ Beispiel: Umfrageteilnehmer überspringt zufällig eine Frage│ │ │ │ │ ├── ZWEIG B: MAR - Zufällig fehlend │ │ │ Anzeichen: Fehlen korreliert mit ANDEREN Spalten, │ │ │ NICHT mit dem fehlenden Wert selbst. │ │ │ Test: Korrelation des Fehlen-Flags vs. andere Spalten │ │ │ Risiko: Mittel - bedingte/gruppenweise Imputation verwenden│ │ │ Beispiel: Einkommen fehlt häufiger bei jüngeren Befragten │ │ │ │ │ └── ZWEIG C: MNAR - Nicht zufällig fehlend │ │ Anzeichen: Fehlen korreliert MIT dem fehlenden Wert. │ │ Test: Domänenwissen + Vergleich der Verteilungen │ │ Risiko: HOCH - kann das Modell stark verzerren │ │ Aktion: Fachliche Prüfung + Indikator-Flag erstellen │ │ Beispiel: Hohe Einkommensbezieher überspringen das Einkommensfeld absichtlich│ └────────────────────────────────────────────────────────────┘ ``` **Füllen Sie für jede markierte Spalte diese Analysekarte aus:** ``` ┌────────────────────────────────────────────────────────────┐ │ SPALTEN-ANALYSEKARTE │ ├────────────────────────────────────────────────────────────┤ │ Spaltenname : │ │ Fehlend % : │ │ Datentyp : │ │ Ist Ziel (y)? : JA / NEIN │ │ Mechanismus : MCAR / MAR / MNAR │ │ Beweis : (warum Sie dies glauben) │ │ Ist das Fehlen : │ │ informativ? : JA (Indikator erstellen) / NEIN│ │ Vorgeschlagene : │ │ Aktion : (siehe Phase 3) │ └────────────────────────────────────────────────────────────┘ ``` --- ## PHASE 3 - RAHMEN FÜR BEHANDLUNGSENTSCHEIDUNGEN ### *Wenden Sie die Regeln in strenger Reihenfolge an. Überspringen Sie keine.* --- ### REGEL 0 - ZIELSPALTE (y) - HÖCHSTE PRIORITÄT ``` WENN die fehlende Spalte die Zielvariable (y) IST: → Entfernen Sie diese Zeilen IMMER - imputieren Sie das Ziel NIE → df.dropna(subset=[TARGET_COL], inplace=True) → Grund: Ein Modell kann nicht aus unbeschrifteten Daten lernen ``` --- ### REGEL 1 - SCHWELLENWERTPRÜFUNG (Fehlend %) ``` ┌────────────────────────────────────────────────────────────┐ │ WENN fehlend% > 60%: │ │ → OPTION A: Spalte vollständig entfernen │ │ (Ausnahme: Domäne markiert sie als kritisch → Experte informieren)│ │ → OPTION B: Behalten + binäres Indikator-Flag erstellen │ │ (col_was_missing = 1) und dann über Imputation entscheiden │ │ │ │ WENN 30% < fehlend% ≤ 60%: │ │ → Erweiterte Imputation verwenden: KNN oder MICE (IterativeImputer)│ │ → Zuerst IMMER ein Fehlen-Indikator-Flag erstellen │ │ → Gruppenweise (bedingte) Mittelwert/Modus in Betracht ziehen│ │ │ │ WENN fehlend% ≤ 30%: │ │ → Fahren Sie mit REGEL 2 fort │ └────────────────────────────────────────────────────────────┘ ``` --- ### REGEL 2 - DATENTYP-ROUTING ``` ┌────────────────────────────────────────────────────────────┐ │ NUMERISCH - Kontinuierlich (float): │ │ ├─ Symmetrische Verteilung (Mittelwert ≈ Median) → Mittelwert-Imputation│ │ ├─ Verzerrte Verteilung (Ausreißer vorhanden) → Median-Imputation │ │ ├─ Zeitreihe / geordnete Zeilen → Vorwärtsfüllen / Interp │ │ ├─ MAR (korreliert mit anderen Spalten) → Gruppenweiser Mittelwert│ │ └─ Komplexe multivariate Muster → KNN / MICE │ │ │ │ NUMERISCH - Diskret / Zählung (int): │ │ ├─ Geringe Kardinalität (wenige eindeutige Werte) → Modus-Imputation│ │ └─ Hohe Kardinalität → Median oder KNN │ │ │ │ KATEGORIAL - Nominal (keine Reihenfolge): │ │ ├─ Geringe Kardinalität → Modus-Imputation │ │ ├─ Hohe Kardinalität → "Unknown" / "Missing" als neue Kategorie │ │ └─ MNAR vermutet → "Not_Provided" als sinnvolle Kategorie │ │ │ │ KATEGORIAL - Ordinal (Rangfolge): │ │ ├─ Natürliche Rangfolge → Median-Rang-Imputation │ │ └─ MCAR / MAR → Modus-Imputation │ │ │ │ DATUM/UHRZEIT: │ │ ├─ Sequenzielle Daten → Vorwärtsfüllen → Rückwärtsfüllen │ │ └─ Zufällige Lücken → Interpolation │ │ │ │ BOOLESCH / BINÄR: │ │ └─ Modus-Imputation (oder als kategorial behandeln) │ └────────────────────────────────────────────────────────────┘ ``` --- ### REGEL 3 - AUSWAHLHILFE FÜR ERWEITERTE IMPUTATION ``` ┌────────────────────────────────────────────────────────────┐ │ WANN JEDE ERWEITERTE METHODE VERWENDET WIRD │ │ │ │ Gruppenweiser Mittelwert/Modus: │ │ → Wenn das Fehlen MAR ist, konditioniert auf eine Gruppenspalte│ │ → Beispiel: Einkommen-NaN mit Mittelwert pro age_group füllen│ │ → Realistischer als globaler Mittelwert │ │ │ │ KNN-Imputer (k=5 Standard): │ │ → Wenn mehrere korrelierte numerische Spalten existieren │ │ → Findet k nächste vollständige Zeilen und mittelt deren Werte│ │ → Langsamer bei großen Datensätzen │ │ │ │ MICE / IterativeImputer: │ │ → Am leistungsfähigsten - modelliert jede Spalte mit allen anderen│ │ → Am besten für MAR mit komplexen multivariaten Beziehungen│ │ → max_iter=10, random_state=42 für Reproduzierbarkeit verwenden│ │ → Rechnerisch am aufwendigsten │ │ │ │ Fehlen-Indikator-Flag: │ │ → Immer für MNAR-Spalten hinzufügen │ │ → Optional, aber empfohlen für Spalten mit 30%+ Fehlstellen│ │ → Erstellt: col_was_missing = 1 wenn NaN, sonst 0 │ │ → Sagt dem Modell "dieser Wert fehlte" als Signal │ └────────────────────────────────────────────────────────────┘ ``` --- ### REGEL 4 - ML-MODELL-KOMPATIBILITÄT ``` ┌────────────────────────────────────────────────────────────┐ │ Baum-basiert (XGBoost, LightGBM, CatBoost, RandomForest): │ │ → Kann NaN nativ verarbeiten │ │ → Dennoch empfohlen: Indikator-Flags für MNAR erstellen │ │ │ │ Lineare Modelle (LogReg, LinearReg, Ridge, Lasso): │ │ → MÜSSEN imputieren - Null-NaN-Toleranz │ │ │ │ Neuronale Netze / Deep Learning: │ │ → MÜSSEN imputieren - keine NaN-Toleranz │ │ │ │ SVM, KNN-Klassifikator: │ │ → MÜSSEN imputieren - keine NaN-Toleranz │ │ │ │ ⚠️ UNIVERSELLE REGEL FÜR ALLE MODELLE: │ │ → Zuerst Train/Test AUFTEILEN │ │ → Imputer nur auf TRAIN anpassen │ │ → TRAIN und TEST mit angepasstem Imputer transformieren │ │ → Nie auf vollständigem Datensatz anpassen - verursacht Datenleck│ └────────────────────────────────────────────────────────────┘ ``` --- ## PHASE 4 - PYTHON-IMPLEMENTIERUNGS-BAUPLAN ```python from sklearn.pipeline import Pipeline from sklearn.impute import SimpleImputer, KNNImputer from sklearn.experimental import enable_iterative_imputer from sklearn.impute import IterativeImputer from sklearn.model_selection import train_test_split import pandas as pd import numpy as np # ───────────────────────────────────────────────────────────── # SCHRITT 0 - DATA() laden und kopieren # ───────────────────────────────────────────────────────────── df = DATA().copy() # ───────────────────────────────────────────────────────────── # SCHRITT 1 - Getarnte fehlende Werte standardisieren # ───────────────────────────────────────────────────────────── DISGUISED_NULLS = ["?", "N/A", "n/a", "unknown", "none", " - ", "-", ""] df.replace(DISGUISED_NULLS, np.nan, inplace=True) # ───────────────────────────────────────────────────────────── # SCHRITT 2 - Zeilen entfernen, in denen TARGET fehlt (Regel 0) # ───────────────────────────────────────────────────────────── TARGET_COL = 'your_target_column' # ← DIES ÄNDERN df.dropna(subset=[TARGET_COL], axis=0, inplace=True) # ───────────────────────────────────────────────────────────── # SCHRITT 3 - Features und Ziel trennen # ───────────────────────────────────────────────────────────── X = df.drop(columns=[TARGET_COL]) y = df[TARGET_COL] # ───────────────────────────────────────────────────────────── # SCHRITT 4 - Train/Test-Aufteilung VOR jeder Imputation # ───────────────────────────────────────────────────────────── X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42 ) # ───────────────────────────────────────────────────────────── # SCHRITT 5 - Spaltengruppen definieren (nach Phase 1-2 ausfüllen) # ───────────────────────────────────────────────────────────── num_cols_symmetric = [] # → Mittelwert-Imputation num_cols_skewed = [] # → Median-Imputation cat_cols_low_card = [] # → Modus-Imputation cat_cols_high_card = [] # → 'Unknown'-Füllung knn_cols = [] # → KNN-Imputation drop_cols = [] # → Entfernen (>60% fehlend oder domänenirrelevant) mnar_cols = [] # → Indikator-Flag + Imputation # ───────────────────────────────────────────────────────────── # SCHRITT 6 - Spalten mit hohem Fehlanteil oder irrelevante Spalten entfernen # ───────────────────────────────────────────────────────────── X_train = X_train.drop(columns=drop_cols, errors='ignore') X_test = X_test.drop(columns=drop_cols, errors='ignore') # ───────────────────────────────────────────────────────────── # SCHRITT 7 - Fehlen-Indikator-Flags VOR der Imputation erstellen # ───────────────────────────────────────────────────────────── for col in mnar_cols: X_train[f'{col}_was_missing'] = X_train[col].isnull().astype(int) X_test[f'{col}_was_missing'] = X_test[col].isnull().astype(int) # ───────────────────────────────────────────────────────────── # SCHRITT 8 - Numerische Imputation # ───────────────────────────────────────────────────────────── if num_cols_symmetric: imp_mean = SimpleImputer(strategy='mean') X_train[num_cols_symmetric] = imp_mean.fit_transform(X_train[num_cols_symmetric]) X_test[num_cols_symmetric] = imp_mean.transform(X_test[num_cols_symmetric]) if num_cols_skewed: imp_median = SimpleImputer(strategy='median') X_train[num_cols_skewed] = imp_median.fit_transform(X_train[num_cols_skewed]) X_test[num_cols_skewed] = imp_median.transform(X_test[num_cols_skewed]) # ───────────────────────────────────────────────────────────── # SCHRITT 9 - Kategoriale Imputation # ───────────────────────────────────────────────────────────── if cat_cols_low_card: imp_mode = SimpleImputer(strategy='most_frequent') X_train[cat_cols_low_card] = imp_mode.fit_transform(X_train[cat_cols_low_card]) X_test[cat_cols_low_card] = imp_mode.transform(X_test[cat_cols_low_card]) if cat_cols_high_card: X_train[cat_cols_high_card] = X_train[cat_cols_high_card].fillna('Unknown') X_test[cat_cols_high_card] = X_test[cat_cols_high_card].fillna('Unknown') # ───────────────────────────────────────────────────────────── # SCHRITT 10 - Gruppenweise Imputation (MAR-Muster) # ───────────────────────────────────────────────────────────── # Beispiel: 'income'-NaN mit Mittelwert pro 'age_group' füllen # GROUP_COL = 'age_group' # TARGET_IMP_COL = 'income' # group_means = X_train.groupby(GROUP_COL)[TARGET_IMP_COL].mean() # X_train[TARGET_IMP_COL] = X_train[TARGET_IMP_COL].fillna( # X_train[GROUP_COL].map(group_means) # ) # X_test[TARGET_IMP_COL] = X_test[TARGET_IMP_COL].fillna( # X_test[GROUP_COL].map(group_means) # ) # ───────────────────────────────────────────────────────────── # SCHRITT 11 - KNN-Imputation für komplexe Muster # ───────────────────────────────────────────────────────────── if knn_cols: imp_knn = KNNImputer(n_neighbors=5) X_train[knn_cols] = imp_knn.fit_transform(X_train[knn_cols]) X_test[knn_cols] = imp_knn.transform(X_test[knn_cols]) # ───────────────────────────────────────────────────────────── # SCHRITT 12 - MICE / IterativeImputer (am leistungsfähigsten, bei Bedarf verwenden) # ───────────────────────────────────────────────────────────── # imp_iter = IterativeImputer(max_iter=10, random_state=42) # X_train[advanced_cols] = imp_iter.fit_transform(X_train[advanced_cols]) # X_test[advanced_cols] = imp_iter.transform(X_test[advanced_cols]) # ───────────────────────────────────────────────────────────── # SCHRITT 13 - Abschließende Validierung # ───────────────────────────────────────────────────────────── remaining_train = X_train.isnull().sum() remaining_test = X_test.isnull().sum() assert remaining_train.sum() == 0, f"Train enthält noch Fehlstellen:\n{remaining_train[remaining_train > 0]}" assert remaining_test.sum() == 0, f"Test enthält noch Fehlstellen:\n{remaining_test[remaining_test > 0]}" print("✅ Keine fehlenden Werte mehr vorhanden. DATA() ist ML-bereit.") print(f" Train-Form: {X_train.shape} | Test-Form: {X_test.shape}") ``` --- ## PHASE 5 - SYNTHESE & ENTSCHEIDUNGSBERICHT Nach Abschluss der Phasen 1–4 liefern Sie diesen genauen Bericht: ``` ══════════════════════════════════════════════════════════════ BEHANDLUNGSBERICHT FÜR FEHLENDE WERTE ══════════════════════════════════════════════════════════════ 1. DATENSATZ-ZUSAMMENFASSUNG Form : Fehlend gesamt : Zielspalte : ML-Aufgabe : Modelltyp : 2. INVENTARTABELLE DER FEHLSTELLEN | Spalte | Fehlend% | Dtype | Mechanismus | Informativ? | Behandlung | |--------|----------|-------|-------------|-------------|------------| | ... | ... | ... | ... | ... | ... | 3. ENTSCHEIDUNGSPROTOKOLL [Spalte]: [Grund für die gewählte Behandlung] [Spalte]: [Grund für die gewählte Behandlung] 4. ENTFERNTE SPALTEN [Spalte] - Grund: [z.B., 72% fehlend, nicht domänenkritisch] 5. ERSTELLTE INDIKATOR-FLAGS [col_was_missing] - Grund: [MNAR vermutet / hoher Fehlanteil %] 6. VERWENDETE IMPUTATIONSMETHODEN [Spalte(n)] → [Verwendete Strategie + Begründung] 7. WARNUNGEN & GRENZFÄLLE - MNAR-Spalten, die eine fachliche Prüfung benötigen - Annahmen, die während der Imputation getroffen wurden - Spalten, die nach vollständiger EDA zur Neubewertung markiert wurden - Gefundene getarnte Nullwerte (?, N/A, 0, etc.) 8. NÄCHSTE SCHRITTE - Checkliste nach der Imputation ☐ Verteilungen vor vs. nach der Imputation vergleichen (Histogramme) ☐ Bestätigen, dass alle Imputer nur auf TRAIN angepasst wurden ☐ Null-Datenleck von der Zielspalte validieren ☐ Korrelationsmatrix nach der Imputation erneut prüfen ☐ Klassenbalance prüfen, wenn es eine Klassifikationsaufgabe ist ☐ Alle Transformationen für die Reproduzierbarkeit dokumentieren ══════════════════════════════════════════════════════════════ ``` --- ## EINSCHRÄNKUNGEN & SCHUTZVORRICHTUNGEN ``` ✅ MUSS IMMER: → Auf df.copy() arbeiten - nie das ursprüngliche DATA() verändern → Zeilen entfernen, in denen das Ziel (y) fehlt - y NIE imputieren → Alle Imputer nur auf TRAIN-Daten anpassen → TEST mit bereits angepassten Imputern transformieren (kein erneutes Anpassen) → Indikator-Flags für alle MNAR-Spalten erstellen → Null-Fehlstellen validieren, bevor das Modell es erhält → Auf getarnte fehlende Werte prüfen (?, N/A, 0, leer, "unknown") → Jede Entscheidung mit expliziter Begründung dokumentieren ❌ DARF NIE: → Blind imputieren, ohne zuerst Verteilungen zu prüfen → Spalten entfernen, ohne deren Domänenwichtigkeit zu prüfen → Imputer auf dem vollständigen Datensatz vor der Train/Test-Aufteilung anpassen (DATENLECK) → MNAR-Spalten ignorieren - sie können das Modell stark verzerren → Identische Strategie auf alle Spalten anwenden → Annehmen, dass NaN die einzige Form eines fehlenden Wertes ist ``` --- ## SCHNELLREFERENZ - STRATEGIE-SPICKZETTEL | Situation | Strategie | |-----------|-----------| | Zielspalte (y) hat NaN | Zeilen entfernen - nie imputieren | | Spalte > 60% fehlend | Spalte entfernen (oder Indikator + Expertenprüfung) | | Numerisch, symmetrische Verteilung | Mittelwert-Imputation | | Numerisch, verzerrte Verteilung | Median-Imputation | | Numerisch, Zeitreihe | Vorwärtsfüllen / Interpolation | | Kategorial, geringe Kardinalität | Modus-Imputation | | Kategorial, hohe Kardinalität | Mit 'Unknown'-Kategorie füllen | | MNAR vermutet (jeder Typ) | Indikator-Flag + Domänenprüfung | | MAR, konditioniert auf Gruppe | Gruppenweiser Mittelwert/Modus | | Komplexe multivariate Muster | KNN-Imputer oder MICE | | Baum-basiertes Modell (XGBoost etc.) | NaN toleriert; trotzdem MNAR markieren | | Linear / NN / SVM | Muss imputieren - Null-NaN-Toleranz | --- *PROMPT() v1.0 - Entwickelt für IBM GEN AI Engineering / Datenanalyse mit Python* *Framework: Chain of Thought (CoT) + Tree of Thought (ToT)* *Referenz: Coursera - Umgang mit fehlenden Werten in Python*