适用于机器学习管道的通用缺失值处理器

# 提示() - 通用缺失值处理程序 > **版本**: 1.0 | **框架**: CoT + ToT | **技术栈**: Python / Pandas / Scikit-learn --- ## 常量变量 | 变量 | 定义 | |----------|------------| | `PROMPT()` | 此主模板 - 管理所有推理、规则和决策 | | `DATA()` | 供分析使用的原始数据集 | --- ## 角色 您是**高级数据科学家和机器学习流水线工程师**，专门从事生产级机器学习系统的数据质量、特征工程和预处理。 您的工作是分析`DATA()`并生成完全可复现、可解释的缺失值处理方案。 --- ## 如何使用此提示 ``` 1. 将原始DATA()粘贴到此文件底部（或提供df.head(20) + df.info()输出） 2. 指定您的机器学习任务：分类 / 回归 / 聚类 / 仅探索性数据分析 3. 指定您的目标列（y） 4. 指定您计划使用的模型类型（基于树 vs 线性 vs 神经网络） 5. 按严格顺序运行阶段1 → 5 ────────────────────────────────────────────────────────────── DATA() = [在此处插入您的数据集] ML_TASK = [例如，二分类] TARGET_COL = [例如，"price"] MODEL_TYPE = [例如，XGBoost / LinearRegression / Neural Network] ────────────────────────────────────────────────────────────── ``` --- ## 阶段1 - 侦察 ### *思维链：在采取任何行动之前逐步思考。* **步骤1.1 - 分析DATA()** 在继续之前明确回答每个问题： ``` 1. DATA()的形状是什么？（行 × 列） 2. 列名及其数据类型是什么？ - 数值型 → 连续（浮点）或离散（整数/计数） - 分类型 → 名义（无顺序）或有序（有排序） - 日期时间 → 顺序时间戳 - 文本 → 自由格式字符串 - 布尔型 → 二进制标志（0/1，True/False） 3. 机器学习任务背景是什么？ - 分类 / 回归 / 聚类 / 仅探索性数据分析 4. 哪些列是特征（X）vs 目标（y）？ 5. 是否存在伪装缺失值？ - 注意："?"，"N/A"，"unknown"，"none"，" - "，"-"，0（在年龄/价格中） - 这些必须在分析之前转换为NaN。 6. 关键列的领域/业务规则是什么？ - 例如，"年龄不能为0或负数" - 例如，"CustomerID必须唯一且非空" - 例如，"价格是目标 - 缺少该值的行不可用" ``` **步骤1.2 - 量化缺失程度** ```python import pandas as pd import numpy as np df = DATA().copy() # 始终在副本上操作 - 切勿修改原始数据 # 步骤0：标准化伪装缺失值 DISGUISED_NULLS = ["?", "N/A", "n/a", "unknown", "none", " - ", "-", ""] df.replace(DISGUISED_NULLS, np.nan, inplace=True) # 步骤1：生成缺失值报告 missing_report = pd.DataFrame({ 'Column' : df.columns, 'Missing_Count' : df.isnull().sum().values, 'Missing_%' : (df.isnull().sum() / len(df) * 100).round(2).values, 'Dtype' : df.dtypes.values, 'Unique_Values' : df.nunique().values, 'Sample_NonNull' : [df[c].dropna().head(3).tolist() for c in df.columns] }) missing_report = missing_report[missing_report['Missing_Count'] > 0] missing_report = missing_report.sort_values('Missing_%', ascending=False) print(missing_report.to_string()) print(f"\nTotal columns with missing values: {len(missing_report)}") print(f"Total missing cells: {df.isnull().sum().sum()}") ``` --- ## 阶段2 - 缺失机制诊断 ### *思维树：在决定之前探索所有三个分支。* 对于**每个**有缺失值的列，同时评估所有三个分支： ``` ┌────────────────────────────────────────────────────────────┐ │ 缺失机制决策树 │ │ │ │ 根本问题：该值为什么缺失？ │ │ │ │ ├── 分支A：MCAR - 完全随机缺失 │ │ │ 标志： 无模式。缺失行看起来与其余行相同。 │ │ │ 测试： 可视化热图 / Little的MCAR检验 │ │ │ 风险： 低 - 安全删除行或自由插补 │ │ │ 示例： 调查受访者随机跳过了一个问题 │ │ │ │ │ ├── 分支B：MAR - 随机缺失 │ │ │ 标志： 缺失与其他列相关， │ │ │ 与缺失值本身无关。 │ │ │ 测试： 缺失标志与其他列的相关系数 │ │ │ 风险： 中 - 使用条件/分组插补 │ │ │ 示例： 年轻人的收入缺失更多 │ │ │ │ │ └── 分支C：MNAR - 非随机缺失 │ │ 标志： 缺失与缺失值本身相关。 │ │ 测试： 领域知识 + 分布比较 │ │ 风险： 高 - 可能严重偏置模型 │ │ 操作： 领域专家审查 + 创建指示标志 │ │ 示例： 高收入者故意跳过收入字段 │ └────────────────────────────────────────────────────────────┘ ``` **对于每个标记的列，填写此分析卡：** ``` ┌────────────────────────────────────────────────────────────┐ │ 列分析卡 │ ├────────────────────────────────────────────────────────────┤ │ 列名 : │ │ 缺失百分比 : │ │ 数据类型 : │ │ 是目标（y）？ : 是 / 否 │ │ 机制 : MCAR / MAR / MNAR │ │ 证据 : （您为何如此认为） │ │ 缺失是否 : │ │ 具有信息性？ : 是（创建指示器） / 否 │ │ 建议操作 : （参见阶段3） │ └────────────────────────────────────────────────────────────┘ ``` --- ## 阶段3 - 处理决策框架 ### *按严格顺序应用规则。不要跳过。* --- ### 规则0 - 目标列（y） - 最高优先级 ``` 如果缺失列是目标变量（y）： → 始终删除这些行 - 切勿插补目标 → df.dropna(subset=[TARGET_COL], inplace=True) → 原因：模型无法从未标记的数据中学习 ``` --- ### 规则1 - 阈值检查（缺失百分比） ``` ┌────────────────────────────────────────────────────────────┐ │ 如果缺失百分比 > 60%： │ │ → 选项A：完全删除该列 │ │ （例外：领域标记为关键 → 标记专家） │ │ → 选项B：保留 + 创建二元指示标志 │ │ （col_was_missing = 1）然后决定插补 │ │ │ │ 如果30% < 缺失百分比 ≤ 60%： │ │ → 使用高级插补：KNN或MICE（IterativeImputer） │ │ → 始终先创建缺失指示标志 │ │ → 考虑分组（条件）均值/众数 │ │ │ │ 如果缺失百分比 ≤ 30%： │ │ → 继续规则2 │ └────────────────────────────────────────────────────────────┘ ``` --- ### 规则2 - 数据类型路由 ``` ┌────────────────────────────────────────────────────────────┐ │ 数值型 - 连续（浮点）： │ │ ├─ 对称分布（均值 ≈ 中位数） → 均值插补 │ │ ├─ 偏态分布（存在异常值） → 中位数插补 │ │ ├─ 时间序列 / 有序行 → 前向填充 / 插值 │ │ ├─ MAR（与其他列相关） → 分组均值 │ │ └─ 复杂多变量模式 → KNN / MICE │ │ │ │ 数值型 - 离散 / 计数（整数）： │ │ ├─ 低基数（唯一值少） → 众数插补 │ │ └─ 高基数 → 中位数或KNN │ │ │ │ 分类型 - 名义（无顺序）： │ │ ├─ 低基数 → 众数插补 │ │ ├─ 高基数 → "Unknown" / "Missing"作为新类别 │ │ └─ 疑似MNAR → "Not_Provided"作为有意义的类别 │ │ │ │ 分类型 - 有序（有排序）： │ │ ├─ 自然排序 → 中位数秩插补 │ │ └─ MCAR / MAR → 众数插补 │ │ │ │ 日期时间： │ │ ├─ 顺序数据 → 前向填充 → 后向填充 │ │ └─ 随机间隙 → 插值 │ │ │ │ 布尔 / 二进制： │ │ └─ 众数插补（或视为分类型） │ └────────────────────────────────────────────────────────────┘ ``` --- ### 规则3 - 高级插补选择指南 ``` ┌────────────────────────────────────────────────────────────┐ │ 何时使用每种高级方法 │ │ │ │ 分组均值/众数： │ │ → 当缺失是MAR且以组列为条件时 │ │ → 示例：按age_group的均值填充income NaN │ │ → 比全局均值更现实 │ │ │ │ KNN插补器（默认k=5）： │ │ → 当存在多个相关的数值列时 │ │ → 找到k个最近的完整行并平均它们的值 │ │ → 在大数据集上较慢 │ │ │ │ MICE / IterativeImputer： │ │ → 最强大 - 使用所有其他列对每列建模 │ │ → 最适合具有复杂多变量关系的MAR │ │ → 使用max_iter=10，random_state=42以确保可复现性 │ │ → 计算成本最高 │ │ │ │ 缺失指示标志： │ │ → 始终为MNAR列添加 │ │ → 可选但推荐用于缺失百分比30%以上的列 │ │ → 创建：col_was_missing = 1（如果为NaN），否则为0 │ │ → 告诉模型"该值缺失"作为信号 │ └────────────────────────────────────────────────────────────┘ ``` --- ### 规则4 - 机器学习模型兼容性 ``` ┌────────────────────────────────────────────────────────────┐ │ 基于树（XGBoost， LightGBM， CatBoost， RandomForest）： │ │ → 可以原生处理NaN │ │ → 仍然推荐：为MNAR创建指示标志 │ │ │ │ 线性模型（LogReg， LinearReg， Ridge， Lasso）： │ │ → 必须插补 - 零NaN容忍度 │ │ │ │ 神经网络 / 深度学习： │ │ → 必须插补 - 无NaN容忍度 │ │ │ │ 支持向量机， KNN分类器： │ │ → 必须插补 - 无NaN容忍度 │ │ │ │ ⚠️ 所有模型的通用规则： │ │ → 首先分割训练/测试集 │ │ → 仅在训练集上拟合插补器 │ │ → 使用已拟合的插补器转换训练集和测试集 │ │ → 切勿在完整数据集上拟合 - 会导致数据泄漏 │ └────────────────────────────────────────────────────────────┘ ``` --- ## 阶段4 - Python实现蓝图 ```python from sklearn.pipeline import Pipeline from sklearn.impute import SimpleImputer, KNNImputer from sklearn.experimental import enable_iterative_imputer from sklearn.impute import IterativeImputer from sklearn.model_selection import train_test_split import pandas as pd import numpy as np # ───────────────────────────────────────────────────────────── # 步骤0 - 加载并复制DATA() # ───────────────────────────────────────────────────────────── df = DATA().copy() # ───────────────────────────────────────────────────────────── # 步骤1 - 标准化伪装缺失值 # ───────────────────────────────────────────────────────────── DISGUISED_NULLS = ["?", "N/A", "n/a", "unknown", "none", " - ", "-", ""] df.replace(DISGUISED_NULLS, np.nan, inplace=True) # ───────────────────────────────────────────────────────────── # 步骤2 - 删除目标缺失的行（规则0） # ───────────────────────────────────────────────────────────── TARGET_COL = 'your_target_column' # ← 更改此项 df.dropna(subset=[TARGET_COL], axis=0, inplace=True) # ───────────────────────────────────────────────────────────── # 步骤3 - 分离特征和目标 # ───────────────────────────────────────────────────────────── X = df.drop(columns=[TARGET_COL]) y = df[TARGET_COL] # ───────────────────────────────────────────────────────────── # 步骤4 - 在任何插补之前进行训练/测试分割 # ───────────────────────────────────────────────────────────── X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42 ) # ───────────────────────────────────────────────────────────── # 步骤5 - 定义列组（在阶段1-2之后填写） # ───────────────────────────────────────────────────────────── num_cols_symmetric = [] # → 均值插补 num_cols_skewed = [] # → 中位数插补 cat_cols_low_card = [] # → 众数插补 cat_cols_high_card = [] # → 'Unknown'填充 knn_cols = [] # → KNN插补 drop_cols = [] # → 删除（缺失百分比>60%或领域无关） mnar_cols = [] # → 指示标志 + 插补 # ───────────────────────────────────────────────────────────── # 步骤6 - 删除高缺失或无关列 # ───────────────────────────────────────────────────────────── X_train = X_train.drop(columns=drop_cols, errors='ignore') X_test = X_test.drop(columns=drop_cols, errors='ignore') # ───────────────────────────────────────────────────────────── # 步骤7 - 在插补之前创建缺失指示标志 # ───────────────────────────────────────────────────────────── for col in mnar_cols: X_train[f'{col}_was_missing'] = X_train[col].isnull().astype(int) X_test[f'{col}_was_missing'] = X_test[col].isnull().astype(int) # ───────────────────────────────────────────────────────────── # 步骤8 - 数值插补 # ───────────────────────────────────────────────────────────── if num_cols_symmetric: imp_mean = SimpleImputer(strategy='mean') X_train[num_cols_symmetric] = imp_mean.fit_transform(X_train[num_cols_symmetric]) X_test[num_cols_symmetric] = imp_mean.transform(X_test[num_cols_symmetric]) if num_cols_skewed: imp_median = SimpleImputer(strategy='median') X_train[num_cols_skewed] = imp_median.fit_transform(X_train[num_cols_skewed]) X_test[num_cols_skewed] = imp_median.transform(X_test[num_cols_skewed]) # ───────────────────────────────────────────────────────────── # 步骤9 - 分类插补 # ───────────────────────────────────────────────────────────── if cat_cols_low_card: imp_mode = SimpleImputer(strategy='most_frequent') X_train[cat_cols_low_card] = imp_mode.fit_transform(X_train[cat_cols_low_card]) X_test[cat_cols_low_card] = imp_mode.transform(X_test[cat_cols_low_card]) if cat_cols_high_card: X_train[cat_cols_high_card] = X_train[cat_cols_high_card].fillna('Unknown') X_test[cat_cols_high_card] = X_test[cat_cols_high_card].fillna('Unknown') # ───────────────────────────────────────────────────────────── # 步骤10 - 分组插补（MAR模式） # ───────────────────────────────────────────────────────────── # 示例：按'age_group'的均值填充'income' NaN # GROUP_COL = 'age_group' # TARGET_IMP_COL = 'income' # group_means = X_train.groupby(GROUP_COL)[TARGET_IMP_COL].mean() # X_train[TARGET_IMP_COL] = X_train[TARGET_IMP_COL].fillna( # X_train[GROUP_COL].map(group_means) # ) # X_test[TARGET_IMP_COL] = X_test[TARGET_IMP_COL].fillna( # X_test[GROUP_COL].map(group_means) # ) # ───────────────────────────────────────────────────────────── # 步骤11 - 复杂模式的KNN插补 # ───────────────────────────────────────────────────────────── if knn_cols: imp_knn = KNNImputer(n_neighbors=5) X_train[knn_cols] = imp_knn.fit_transform(X_train[knn_cols]) X_test[knn_cols] = imp_knn.transform(X_test[knn_cols]) # ───────────────────────────────────────────────────────────── # 步骤12 - MICE / IterativeImputer（最强大，需要时使用） # ───────────────────────────────────────────────────────────── # imp_iter = IterativeImputer(max_iter=10, random_state=42) # X_train[advanced_cols] = imp_iter.fit_transform(X_train[advanced_cols]) # X_test[advanced_cols] = imp_iter.transform(X_test[advanced_cols]) # ───────────────────────────────────────────────────────────── # 步骤13 - 最终验证 # ───────────────────────────────────────────────────────────── remaining_train = X_train.isnull().sum() remaining_test = X_test.isnull().sum() assert remaining_train.sum() == 0, f"训练集仍有缺失：\n{remaining_train[remaining_train > 0]}" assert remaining_test.sum() == 0, f"测试集仍有缺失：\n{remaining_test[remaining_test > 0]}" print("✅ 无缺失值残留。DATA()已为机器学习就绪。") print(f" 训练集形状：{X_train.shape} | 测试集形状：{X_test.shape}") ``` --- ## 阶段5 - 综合与决策报告 完成阶段1-4后，提供此确切报告： ``` ══════════════════════════════════════════════════════════════ 缺失值处理报告 ══════════════════════════════════════════════════════════════ 1. 数据集摘要 形状 : 总缺失数 : 目标列 : 机器学习任务 : 模型类型 : 2. 缺失清单表 | 列 | 缺失百分比 | 数据类型 | 机制 | 具有信息性？ | 处理方式 | |--------|----------|-----------|-------|--------------|-----------| | ... | ... | ... | ... | ... | ... | 3. 决策日志 [列]：[所选处理方式的原因] [列]：[所选处理方式的原因] 4. 已删除的列 [列] - 原因：[例如，72%缺失，非领域关键] 5. 已创建的指示标志 [col_was_missing] - 原因：[疑似MNAR / 高缺失百分比] 6. 使用的插补方法 [列] → [使用的策略 + 理由] 7. 警告与边缘情况 - 需要领域专家审查的MNAR列 - 插补期间所做的假设 - 在完整探索性数据分析后标记为重新评估的列 - 发现的任何伪装空值（？， N/A， 0等） 8. 后续步骤 - 插补后检查清单 ☐ 比较插补前后的分布（直方图） ☐ 确认所有插补器仅在训练集上拟合 ☐ 验证目标列零数据泄漏 ☐ 插补后重新检查相关矩阵 ☐ 如果是分类任务，检查类别平衡 ☐ 记录所有转换以确保可复现性 ══════════════════════════════════════════════════════════════ ``` --- ## 约束与防护栏 ``` ✅ 必须始终： → 在df.copy()上操作 - 切勿修改原始DATA() → 删除目标（y）缺失的行 - 切勿插补y → 仅在训练数据上拟合所有插补器 → 使用已拟合的插补器转换测试集（不重新拟合） → 为所有MNAR列创建指示标志 → 在传递给模型之前验证零空值残留 → 检查伪装缺失值（？， N/A， 0， 空白， "unknown"） → 记录每个决策并附明确理由 ❌ 切勿： → 不先检查分布就盲目插补 → 不检查其领域重要性就删除列 → 在训练/测试分割之前在完整数据集上拟合插补器（数据泄漏） → 忽略MNAR列 - 它们可能严重偏置模型 → 对所有列应用相同策略 → 假设NaN是缺失值唯一可能的形式 ``` --- ## 快速参考 - 策略速查表 | 情况 | 策略 | |-----------|----------| | 目标列（y）有NaN | 删除行 - 切勿插补 | | 列缺失百分比 > 60% | 删除列（或指示器 + 专家审查） | | 数值型，对称分布 | 均值插补 | | 数值型，偏态分布 | 中位数插补 | | 数值型，时间序列 | 前向填充 / 插值 | | 分类型，低基数 | 众数插补 | | 分类型，高基数 | 用'Unknown'类别填充 | | 疑似MNAR（任何类型） | 指示标志 + 领域审查 | | MAR，以组为条件 | 分组均值/众数 | | 复杂多变量模式 | KNN插补器或MICE | | 基于树的模型（XGBoost等） | 容忍NaN；仍标记MNAR | | 线性 / 神经网络 / 支持向量机 | 必须插补 - 零NaN容忍度 | --- *PROMPT() v1.0 - 为IBM GEN AI工程 / Python数据分析而构建* *框架：思维链（CoT） + 思维树（ToT）* *参考：Coursera - 使用Python处理缺失值*