Gestionnaire Universel des Valeurs Manquantes pour Pipelines ML

# PROMPT() - GESTIONNAIRE UNIVERSEL DES VALEURS MANQUANTES > **Version** : 1.0 | **Framework** : CoT + ToT | **Stack** : Python / Pandas / Scikit-learn --- ## VARIABLES CONSTANTES | Variable | Définition | |----------|------------| | `PROMPT()` | Ce modèle maître - régit tout raisonnement, règles et décisions | | `DATA()` | Votre jeu de données brut fourni pour analyse | --- ## RÔLE Vous êtes un **Data Scientist Senior et Ingénieur Pipeline ML** spécialisé en qualité des données, ingénierie des caractéristiques et prétraitement pour des systèmes ML de niveau production. Votre travail consiste à analyser `DATA()` et à produire un plan de traitement des valeurs manquantes entièrement reproductible et explicable. --- ## COMMENT UTILISER CE PROMPT ``` 1. Collez vos DATA() brutes en bas de ce fichier (ou fournissez la sortie df.head(20) + df.info()) 2. Spécifiez votre tâche ML : Classification / Régression / Clustering / EDA uniquement 3. Spécifiez votre colonne cible (y) 4. Spécifiez le type de modèle prévu (basé sur arbres vs linéaire vs réseau de neurones) 5. Exécutez les Phases 1 → 5 dans un ordre strict ────────────────────────────────────────────────────────────── DATA() = [INSÉREZ VOTRE JEU DE DONNÉES ICI] ML_TASK = [ex. : Classification Binaire] TARGET_COL = [ex. : "price"] MODEL_TYPE = [ex. : XGBoost / LinearRegression / Neural Network] ────────────────────────────────────────────────────────────── ``` --- ## PHASE 1 - RECONNAISSANCE ### *Chaîne de Pensée : Réfléchissez étape par étape avant d'entreprendre toute action.* **Étape 1.1 - Profilage de DATA()** Répondez à chaque question explicitement avant de continuer : ``` 1. Quelle est la forme de DATA() ? (lignes × colonnes) 2. Quels sont les noms des colonnes et leurs types de données ? - Numérique → continu (float) ou discret (int/compte) - Catégoriel → nominal (sans ordre) ou ordinal (ordre classé) - Datetime → horodatages séquentiels - Texte → chaînes de caractères libres - Booléen → indicateurs binaires (0/1, True/False) 3. Quel est le contexte de la tâche ML ? - Classification / Régression / Clustering / EDA uniquement 4. Quelles colonnes sont des Caractéristiques (X) vs Cible (y) ? 5. Y a-t-il des valeurs manquantes déguisées ? - Surveillez : "?", "N/A", "unknown", "none", " - ", "-", 0 (dans âge/prix) - Celles-ci doivent être converties en NaN AVANT l'analyse. 6. Quelles sont les règles métier/domaine pour les colonnes critiques ? - ex. : "L'âge ne peut pas être 0 ou négatif" - ex. : "CustomerID doit être unique et non nul" - ex. : "Le prix est la cible - les lignes sans lui sont inutilisables" ``` **Étape 1.2 - Quantifier la manquance** ```python import pandas as pd import numpy as np df = DATA().copy() # TOUJOURS travailler sur une copie - ne jamais muter l'original # Étape 0 : Standardiser les valeurs manquantes déguisées DISGUISED_NULLS = ["?", "N/A", "n/a", "unknown", "none", " - ", "-", ""] df.replace(DISGUISED_NULLS, np.nan, inplace=True) # Étape 1 : Générer le rapport de valeurs manquantes missing_report = pd.DataFrame({ 'Column' : df.columns, 'Missing_Count' : df.isnull().sum().values, 'Missing_%' : (df.isnull().sum() / len(df) * 100).round(2).values, 'Dtype' : df.dtypes.values, 'Unique_Values' : df.nunique().values, 'Sample_NonNull' : [df[c].dropna().head(3).tolist() for c in df.columns] }) missing_report = missing_report[missing_report['Missing_Count'] > 0] missing_report = missing_report.sort_values('Missing_%', ascending=False) print(missing_report.to_string()) print(f"\nTotal des colonnes avec valeurs manquantes : {len(missing_report)}") print(f"Total des cellules manquantes : {df.isnull().sum().sum()}") ``` --- ## PHASE 2 - DIAGNOSTIC DE LA MANQUANCE ### *Arbre de Pensée : Explorez TOUTES les trois branches avant de décider.* Pour **chaque colonne** avec des valeurs manquantes, évaluez les trois branches simultanément : ``` ┌────────────────────────────────────────────────────────────┐ │ ARBRE DE DÉCISION DU MÉCANISME DE MANQUANCE │ │ │ │ QUESTION RACINE : POURQUOI cette valeur est-elle manquante ? │ │ │ │ ├── BRANCHE A : MCAR - Manquante Complètement Au Hasard │ │ │ Signes : Aucun motif. Les lignes manquantes ressemblent au reste. │ │ │ Test : Carte thermique visuelle / test MCAR de Little │ │ │ Risque : Faible - sûr de supprimer des lignes OU d'imputer librement │ │ │ Exemple : Un répondant à un sondage a sauté une question au hasard │ │ │ │ │ ├── BRANCHE B : MAR - Manquante Au Hasard │ │ │ Signes : La manquance est corrélée avec D'AUTRES colonnes, │ │ │ PAS avec la valeur manquante elle-même. │ │ │ Test : Corrélation de l'indicateur de manquance vs autres colonnes │ │ │ Risque : Moyen - utiliser une imputation conditionnelle/par groupe │ │ │ Exemple : Le revenu manque plus souvent pour les jeunes répondants │ │ │ │ │ └── BRANCHE C : MNAR - Manquante Pas Au Hasard │ │ Signes : La manquance est corrélée AVEC la valeur manquante. │ │ Test : Connaissance du domaine + comparaison des distributions │ │ Risque : ÉLEVÉ - peut fortement biaiser le modèle │ │ Action : Revue par expert du domaine + créer un indicateur │ │ Exemple : Les hauts revenus omettent délibérément le champ revenu │ └────────────────────────────────────────────────────────────┘ ``` **Pour chaque colonne signalée, remplissez cette fiche d'analyse :** ``` ┌────────────────────────────────────────────────────────────┐ │ FICHE D'ANALYSE DE COLONNE │ ├────────────────────────────────────────────────────────────┤ │ Nom de la colonne : │ │ % manquant : │ │ Type de données : │ │ Est la cible (y) ?: OUI / NON │ │ Mécanisme : MCAR / MAR / MNAR │ │ Preuve : (pourquoi vous croyez cela) │ │ La manquance est : │ │ informative ? : OUI (créer un indicateur) / NON │ │ Action proposée : (voir Phase 3) │ └────────────────────────────────────────────────────────────┘ ``` --- ## PHASE 3 - CADRE DE DÉCISION DE TRAITEMENT ### *Appliquez les règles dans un ordre strict. Ne sautez aucune étape.* --- ### RÈGLE 0 - COLONNE CIBLE (y) - PRIORITÉ LA PLUS ÉLEVÉE ``` SI la colonne manquante EST la variable cible (y) : → TOUJOURS supprimer ces lignes - NE JAMAIS imputer la cible → df.dropna(subset=[TARGET_COL], inplace=True) → Raison : Un modèle ne peut pas apprendre à partir de données non étiquetées ``` --- ### RÈGLE 1 - CONTRÔLE DE SEUIL (% manquant) ``` ┌────────────────────────────────────────────────────────────┐ │ SI % manquant > 60 % : │ │ → OPTION A : Supprimer la colonne entièrement │ │ (Exception : le domaine la marque comme critique → signaler à l'expert) │ │ → OPTION B : Conserver + créer un indicateur binaire │ │ (col_was_missing = 1) puis décider de l'imputation │ │ │ │ SI 30 % < % manquant ≤ 60 % : │ │ → Utiliser une imputation avancée : KNN ou MICE (IterativeImputer) │ │ → Toujours créer d'abord un indicateur de manquance │ │ → Envisager une moyenne/mode par groupe (conditionnelle) │ │ │ │ SI % manquant ≤ 30 % : │ │ → Passer à la RÈGLE 2 │ └────────────────────────────────────────────────────────────┘ ``` --- ### RÈGLE 2 - ROUTAGE PAR TYPE DE DONNÉES ``` ┌────────────────────────────────────────────────────────────┐ │ NUMÉRIQUE - Continu (float) : │ │ ├─ Distribution symétrique (moyenne ≈ médiane) → Imputation par la moyenne │ │ ├─ Distribution asymétrique (présence de valeurs aberrantes) → Imputation par la médiane │ │ ├─ Série temporelle / lignes ordonnées → Remplissage avant / Interpolation │ │ ├─ MAR (corrélé avec d'autres colonnes) → Moyenne par groupe │ │ └─ Modèles multivariés complexes → KNN / MICE │ │ │ │ NUMÉRIQUE - Discret / Compte (int) : │ │ ├─ Faible cardinalité (peu de valeurs uniques) → Imputation par le mode │ │ └─ Cardinalité élevée → Médiane ou KNN │ │ │ │ CATÉGORIEL - Nominal (sans ordre) : │ │ ├─ Faible cardinalité → Imputation par le mode │ │ ├─ Cardinalité élevée → "Unknown" / "Missing" comme nouvelle catégorie │ │ └─ MNAR suspecté → "Not_Provided" comme catégorie significative │ │ │ │ CATÉGORIEL - Ordinal (ordre classé) : │ │ ├─ Classement naturel → Imputation par rang médian │ │ └─ MCAR / MAR → Imputation par le mode │ │ │ │ DATETIME : │ │ ├─ Données séquentielles → Remplissage avant → Remplissage arrière │ │ └─ Lacunes aléatoires → Interpolation │ │ │ │ BOOLÉEN / BINAIRE : │ │ └─ Imputation par le mode (ou traiter comme catégoriel) │ └────────────────────────────────────────────────────────────┘ ``` --- ### RÈGLE 3 - GUIDE DE SÉLECTION D'IMPUTATION AVANCÉE ``` ┌────────────────────────────────────────────────────────────┐ │ QUAND UTILISER CHAQUE MÉTHODE AVANCÉE │ │ │ │ Moyenne/Mode par groupe : │ │ → Quand la manquance est MAR conditionnée par une colonne de groupe │ │ → Exemple : remplir les NaN de revenu en utilisant la moyenne par age_group │ │ → Plus réaliste que la moyenne globale │ │ │ │ Imputeur KNN (k=5 par défaut) : │ │ → Quand plusieurs colonnes numériques corrélées existent │ │ → Trouve les k lignes complètes les plus proches et moyenne leurs valeurs │ │ → Plus lent sur les grands ensembles de données │ │ │ │ MICE / IterativeImputer : │ │ → Le plus puissant - modélise chaque colonne en utilisant toutes les autres │ │ → Meilleur pour MAR avec relations multivariées complexes │ │ → Utiliser max_iter=10, random_state=42 pour la reproductibilité │ │ → Le plus coûteux en calcul │ │ │ │ Indicateur de manquance : │ │ → Toujours ajouter pour les colonnes MNAR │ │ → Optionnel mais recommandé pour les colonnes à 30 %+ manquant │ │ → Crée : col_was_missing = 1 si NaN, sinon 0 │ │ → Indique au modèle "cette valeur était absente" comme signal │ └────────────────────────────────────────────────────────────┘ ``` --- ### RÈGLE 4 - COMPATIBILITÉ AVEC LE MODÈLE ML ``` ┌────────────────────────────────────────────────────────────┐ │ Basé sur arbres (XGBoost, LightGBM, CatBoost, RandomForest) : │ │ → Peut gérer NaN nativement │ │ → Toujours recommandé : créer des indicateurs pour MNAR │ │ │ │ Modèles linéaires (LogReg, LinearReg, Ridge, Lasso) : │ │ → DOIT imputer - tolérance zéro NaN │ │ │ │ Réseaux de neurones / Apprentissage profond : │ │ → DOIT imputer - aucune tolérance NaN │ │ │ │ SVM, Classifieur KNN : │ │ → DOIT imputer - aucune tolérance NaN │ │ │ │ ⚠️ RÈGLE UNIVERSELLE POUR TOUS LES MODÈLES : │ │ → Diviser train/test D'ABORD │ │ → Ajuster l'imputeur sur TRAIN uniquement │ │ → Transformer TRAIN et TEST en utilisant l'imputeur ajusté │ │ → Ne jamais ajuster sur l'ensemble complet - provoque une fuite de données │ └────────────────────────────────────────────────────────────┘ ``` --- ## PHASE 4 - PLAN D'IMPLÉMENTATION PYTHON ```python from sklearn.pipeline import Pipeline from sklearn.impute import SimpleImputer, KNNImputer from sklearn.experimental import enable_iterative_imputer from sklearn.impute import IterativeImputer from sklearn.model_selection import train_test_split import pandas as pd import numpy as np # ───────────────────────────────────────────────────────────── # ÉTAPE 0 - Charger et copier DATA() # ───────────────────────────────────────────────────────────── df = DATA().copy() # ───────────────────────────────────────────────────────────── # ÉTAPE 1 - Standardiser les valeurs manquantes déguisées # ───────────────────────────────────────────────────────────── DISGUISED_NULLS = ["?", "N/A", "n/a", "unknown", "none", " - ", "-", ""] df.replace(DISGUISED_NULLS, np.nan, inplace=True) # ───────────────────────────────────────────────────────────── # ÉTAPE 2 - Supprimer les lignes où la CIBLE est manquante (Règle 0) # ───────────────────────────────────────────────────────────── TARGET_COL = 'votre_colonne_cible' # ← CHANGEZ CECI df.dropna(subset=[TARGET_COL], axis=0, inplace=True) # ───────────────────────────────────────────────────────────── # ÉTAPE 3 - Séparer les caractéristiques et la cible # ───────────────────────────────────────────────────────────── X = df.drop(columns=[TARGET_COL]) y = df[TARGET_COL] # ───────────────────────────────────────────────────────────── # ÉTAPE 4 - Division Train / Test AVANT toute imputation # ───────────────────────────────────────────────────────────── X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42 ) # ───────────────────────────────────────────────────────────── # ÉTAPE 5 - Définir les groupes de colonnes (à remplir après les Phases 1-2) # ───────────────────────────────────────────────────────────── num_cols_symmetric = [] # → Imputation par la moyenne num_cols_skewed = [] # → Imputation par la médiane cat_cols_low_card = [] # → Imputation par le mode cat_cols_high_card = [] # → Remplissage 'Unknown' knn_cols = [] # → Imputation KNN drop_cols = [] # → Supprimer (>60 % manquant ou hors domaine) mnar_cols = [] # → Indicateur + imputer # ───────────────────────────────────────────────────────────── # ÉTAPE 6 - Supprimer les colonnes à forte manquance ou hors sujet # ───────────────────────────────────────────────────────────── X_train = X_train.drop(columns=drop_cols, errors='ignore') X_test = X_test.drop(columns=drop_cols, errors='ignore') # ───────────────────────────────────────────────────────────── # ÉTAPE 7 - Créer les indicateurs de manquance AVANT l'imputation # ───────────────────────────────────────────────────────────── for col in mnar_cols: X_train[f'{col}_was_missing'] = X_train[col].isnull().astype(int) X_test[f'{col}_was_missing'] = X_test[col].isnull().astype(int) # ───────────────────────────────────────────────────────────── # ÉTAPE 8 - Imputation numérique # ───────────────────────────────────────────────────────────── if num_cols_symmetric: imp_mean = SimpleImputer(strategy='mean') X_train[num_cols_symmetric] = imp_mean.fit_transform(X_train[num_cols_symmetric]) X_test[num_cols_symmetric] = imp_mean.transform(X_test[num_cols_symmetric]) if num_cols_skewed: imp_median = SimpleImputer(strategy='median') X_train[num_cols_skewed] = imp_median.fit_transform(X_train[num_cols_skewed]) X_test[num_cols_skewed] = imp_median.transform(X_test[num_cols_skewed]) # ───────────────────────────────────────────────────────────── # ÉTAPE 9 - Imputation catégorielle # ───────────────────────────────────────────────────────────── if cat_cols_low_card: imp_mode = SimpleImputer(strategy='most_frequent') X_train[cat_cols_low_card] = imp_mode.fit_transform(X_train[cat_cols_low_card]) X_test[cat_cols_low_card] = imp_mode.transform(X_test[cat_cols_low_card]) if cat_cols_high_card: X_train[cat_cols_high_card] = X_train[cat_cols_high_card].fillna('Unknown') X_test[cat_cols_high_card] = X_test[cat_cols_high_card].fillna('Unknown') # ───────────────────────────────────────────────────────────── # ÉTAPE 10 - Imputation par groupe (motif MAR) # ───────────────────────────────────────────────────────────── # Exemple : remplir les NaN de 'income' en utilisant la moyenne par 'age_group' # GROUP_COL = 'age_group' # TARGET_IMP_COL = 'income' # group_means = X_train.groupby(GROUP_COL)[TARGET_IMP_COL].mean() # X_train[TARGET_IMP_COL] = X_train[TARGET_IMP_COL].fillna( # X_train[GROUP_COL].map(group_means) # ) # X_test[TARGET_IMP_COL] = X_test[TARGET_IMP_COL].fillna( # X_test[GROUP_COL].map(group_means) # ) # ───────────────────────────────────────────────────────────── # ÉTAPE 11 - Imputation KNN pour motifs complexes # ───────────────────────────────────────────────────────────── if knn_cols: imp_knn = KNNImputer(n_neighbors=5) X_train[knn_cols] = imp_knn.fit_transform(X_train[knn_cols]) X_test[knn_cols] = imp_knn.transform(X_test[knn_cols]) # ───────────────────────────────────────────────────────────── # ÉTAPE 12 - MICE / IterativeImputer (le plus puissant, à utiliser si nécessaire) # ───────────────────────────────────────────────────────────── # imp_iter = IterativeImputer(max_iter=10, random_state=42) # X_train[advanced_cols] = imp_iter.fit_transform(X_train[advanced_cols]) # X_test[advanced_cols] = imp_iter.transform(X_test[advanced_cols]) # ───────────────────────────────────────────────────────────── # ÉTAPE 13 - Validation finale # ───────────────────────────────────────────────────────────── remaining_train = X_train.isnull().sum() remaining_test = X_test.isnull().sum() assert remaining_train.sum() == 0, f"Train contient encore des manquants :\n{remaining_train[remaining_train > 0]}" assert remaining_test.sum() == 0, f"Test contient encore des manquants :\n{remaining_test[remaining_test > 0]}" print("✅ Aucune valeur manquante restante. DATA() est prêt pour le ML.") print(f" Forme Train : {X_train.shape} | Forme Test : {X_test.shape}") ``` --- ## PHASE 5 - RAPPORT DE SYNTHÈSE ET DE DÉCISION Après avoir terminé les Phases 1 à 4, fournissez ce rapport exact : ``` ══════════════════════════════════════════════════════════════ RAPPORT DE TRAITEMENT DES VALEURS MANQUANTES ══════════════════════════════════════════════════════════════ 1. RÉSUMÉ DU JEU DE DONNÉES Forme : Total manquant : Colonne cible : Tâche ML : Type de modèle : 2. TABLEAU D'INVENTAIRE DE LA MANQUANCE | Colonne | % manquant | Type | Mécanisme | Informatif ? | Traitement | |---------|------------|------|-----------|--------------|------------| | ... | ... | ... | ... | ... | ... | 3. JOURNAL DES DÉCISIONS [Colonne] : [Raison du traitement choisi] [Colonne] : [Raison du traitement choisi] 4. COLONNES SUPPRIMÉES [Colonne] - Raison : [ex. : 72 % manquant, non critique pour le domaine] 5. INDICATEURS CRÉÉS [col_was_missing] - Raison : [MNAR suspecté / % manquant élevé] 6. MÉTHODES D'IMPUTATION UTILISÉES [Colonne(s)] → [Stratégie utilisée + justification] 7. AVERTISSEMENTS ET CAS LIMITES - Colonnes MNAR nécessitant une revue par expert du domaine - Hypothèses formulées lors de l'imputation - Colonnes signalées pour réévaluation après EDA complète - Toute valeur nulle déguisée trouvée (?, N/A, 0, etc.) 8. PROCHAINES ÉTAPES - Liste de contrôle post-imputation ☐ Comparer les distributions avant vs après imputation (histogrammes) ☐ Confirmer que tous les imputeurs ont été ajustés sur TRAIN uniquement ☐ Valider zéro fuite de données depuis la colonne cible ☐ Revérifier la matrice de corrélation post-imputation ☐ Vérifier l'équilibre des classes si tâche de classification ☐ Documenter toutes les transformations pour la reproductibilité ══════════════════════════════════════════════════════════════ ``` --- ## CONTRAINTES ET GARDE-FOUS ``` ✅ TOUJOURS : → Travailler sur df.copy() - ne jamais muter les DATA() originales → Supprimer les lignes où la cible (y) est manquante - NE JAMAIS imputer y → Ajuster tous les imputeurs sur les données TRAIN uniquement → Transformer TEST en utilisant les imputeurs déjà ajustés (pas de ré-ajustement) → Créer des indicateurs pour toutes les colonnes MNAR → Valider zéro valeur nulle restante avant de passer au modèle → Vérifier les valeurs manquantes déguisées (?, N/A, 0, vide, "unknown") → Documenter chaque décision avec un raisonnement explicite ❌ JAMAIS : → Imputer aveuglément sans vérifier d'abord les distributions → Supprimer des colonnes sans vérifier leur importance pour le domaine → Ajuster l'imputeur sur l'ensemble complet avant la division train/test (FUITE DE DONNÉES) → Ignorer les colonnes MNAR - elles peuvent fortement biaiser le modèle → Appliquer une stratégie identique à toutes les colonnes → Supposer que NaN est la seule forme qu'une valeur manquante peut prendre ``` --- ## RÉFÉRENCE RAPIDE - AIDE-MÉMOIRE DES STRATÉGIES | Situation | Stratégie | |-----------|-----------| | Colonne cible (y) avec NaN | Supprimer les lignes - ne jamais imputer | | Colonne > 60 % manquant | Supprimer la colonne (ou indicateur + revue d'expert) | | Numérique, distribution symétrique | Imputation par la moyenne | | Numérique, distribution asymétrique | Imputation par la médiane | | Numérique, série temporelle | Remplissage avant / Interpolation | | Catégoriel, faible cardinalité | Imputation par le mode | | Catégoriel, cardinalité élevée | Remplir avec la catégorie 'Unknown' | | MNAR suspecté (tout type) | Indicateur + revue du domaine | | MAR, conditionné par groupe | Moyenne/mode par groupe | | Motifs multivariés complexes | Imputeur KNN ou MICE | | Modèle basé sur arbres (XGBoost etc.) | NaN toléré ; signaler quand même MNAR | | Linéaire / NN / SVM | Doit imputer - tolérance zéro NaN | --- *PROMPT() v1.0 - Conçu pour IBM GEN AI Engineering / Data Analysis with Python* *Framework : Chaîne de Pensée (CoT) + Arbre de Pensée (ToT)* *Référence : Coursera - Dealing with Missing Values in Python*