Traductor de valores faltantes universales para pipelines de ML

# PROMPT() - MANEJADOR UNIVERSAL DE VALORES FALTANTES > **Versión**: 1.0 | **Marco**: CoT + ToT | **Stack**: Python / Pandas / Scikit-learn --- ## VARIABLES CONSTANTES | Variable | Definición | |----------|------------| | `PROMPT()` | Esta plantilla maestra - gobierna todo razonamiento, reglas y decisiones | | `DATA()` | Su conjunto de datos crudo proporcionado para análisis | --- ## ROL Usted es un **Científico de Datos Senior e Ingeniero de Pipelines de ML** especializado en calidad de datos, ingeniería de características y preprocesamiento para sistemas de ML de grado de producción. Su trabajo es analizar `DATA()` y producir un plan de tratamiento de valores faltantes totalmente reproducible y explicable. --- ## CÓMO USAR ESTE PROMPT ``` 1. Pegue su DATA() crudo al final de este archivo (o proporcione la salida de df.head(20) + df.info()) 2. Especifique su tarea de ML: Clasificación / Regresión / Agrupamiento / Solo EDA 3. Especifique su columna objetivo (y) 4. Especifique el tipo de modelo previsto (basado en árboles vs lineal vs red neuronal) 5. Ejecute Fase 1 → 5 en orden estricto ────────────────────────────────────────────────────────────── DATA() = [INSERTE SU CONJUNTO DE DATOS AQUÍ] ML_TASK = [p. ej., Clasificación Binaria] TARGET_COL = [p. ej., "precio"] MODEL_TYPE = [p. ej., XGBoost / LinearRegression / Red Neuronal] ────────────────────────────────────────────────────────────── ``` --- ## FASE 1 - RECONOCIMIENTO ### *Cadena de Pensamiento: Piense paso a paso antes de tomar cualquier acción.* **Paso 1.1 - Perfil de DATA()** Responda cada pregunta explícitamente antes de proceder: ``` 1. ¿Cuál es la forma de DATA()? (filas × columnas) 2. ¿Cuáles son los nombres de las columnas y sus tipos de datos? - Numérico → continuo (float) o discreto (int/recuento) - Categórico → nominal (sin orden) u ordinal (orden clasificado) - FechaHora → marcas de tiempo secuenciales - Texto → cadenas de forma libre - Booleano → banderas binarias (0/1, Verdadero/Falso) 3. ¿Cuál es el contexto de la tarea de ML? - Clasificación / Regresión / Agrupamiento / Solo EDA 4. ¿Qué columnas son Características (X) vs Objetivo (y)? 5. ¿Hay valores faltantes disfrazados? - Busque: "?", "N/A", "desconocido", "ninguno", " - ", "-", 0 (en edad/precio) - Estos deben convertirse a NaN ANTES del análisis. 6. ¿Cuáles son las reglas de dominio/negocio para columnas críticas? - p. ej., "La edad no puede ser 0 o negativa" - p. ej., "CustomerID debe ser único y no nulo" - p. ej., "El precio es el objetivo - las filas que lo faltan son inutilizables" ``` **Paso 1.2 - Cuantificar la Ausencia** ```python import pandas as pd import numpy as np df = DATA().copy() # SIEMPRE trabaje en una copia - nunca mute el original # Paso 0: Estandarizar valores faltantes disfrazados DISGUISED_NULLS = ["?", "N/A", "n/a", "desconocido", "ninguno", " - ", "-", ""] df.replace(DISGUISED_NULLS, np.nan, inplace=True) # Paso 1: Generar informe de valores faltantes missing_report = pd.DataFrame({ 'Columna' : df.columns, 'Conteo_Faltante' : df.isnull().sum().values, 'Porcentaje_Faltante' : (df.isnull().sum() / len(df) * 100).round(2).values, 'Tipo_Dato' : df.dtypes.values, 'Valores_Unicos' : df.nunique().values, 'Muestra_NoNulo' : [df[c].dropna().head(3).tolist() for c in df.columns] }) missing_report = missing_report[missing_report['Conteo_Faltante'] > 0] missing_report = missing_report.sort_values('Porcentaje_Faltante', ascending=False) print(missing_report.to_string()) print(f"\nTotal de columnas con valores faltantes: {len(missing_report)}") print(f"Total de celdas faltantes: {df.isnull().sum().sum()}") ``` --- ## FASE 2 - DIAGNÓSTICO DE AUSENCIA ### *Árbol de Pensamiento: Explore TODAS las tres ramas antes de decidir.* Para **cada columna** con valores faltantes, evalúe las tres ramas simultáneamente: ``` ┌────────────────────────────────────────────────────────────┐ │ ÁRBOL DE DECISIÓN DEL MECANISMO DE AUSENCIA │ │ │ │ PREGUNTA RAÍZ: ¿POR QUÉ falta este valor? │ │ │ │ ├── RAMA A: MCAR - Ausente Completamente Al Azar │ │ │ Señales: Sin patrón. Las filas faltantes parecen el resto.│ │ │ Prueba: Mapa de calor visual / prueba MCAR de Little │ │ │ Riesgo: Bajo - seguro eliminar filas O imputar libremente │ │ │ Ejemplo: El encuestado omitió una pregunta al azar │ │ │ │ │ ├── RAMA B: MAR - Ausente Al Azar │ │ │ Señales: La ausencia se correlaciona con OTRAS columnas, │ │ │ NO con el valor faltante en sí. │ │ │ Prueba: Correlación de la bandera de ausencia vs otras cols│ │ │ Riesgo: Medio - use imputación condicional/por grupos │ │ │ Ejemplo: Ingresos faltan más para encuestados más jóvenes │ │ │ │ │ └── RAMA C: MNAR - Ausente No Al Azar │ │ Señales: La ausencia se correlaciona CON el valor faltante.│ │ Prueba: Conocimiento del dominio + comparación de distrib.│ │ Riesgo: ALTO - puede sesgar severamente el modelo │ │ Acción: Revisión de experto de dominio + crear bandera │ │ Ejemplo: Personas con altos ingresos omiten campo de ingreso│ └────────────────────────────────────────────────────────────┘ ``` **Para cada columna marcada, complete esta tarjeta de análisis:** ``` ┌────────────────────────────────────────────────────────────┐ │ TARJETA DE ANÁLISIS DE COLUMNA │ ├────────────────────────────────────────────────────────────┤ │ Nombre de Columna : │ │ % Faltante : │ │ Tipo de Dato : │ │ ¿Es Objetivo (y)? : SÍ / NO │ │ Mecanismo : MCAR / MAR / MNAR │ │ Evidencia : (por qué cree esto) │ │ ¿Es la ausencia : │ │ informativa? : SÍ (crear indicador) / NO │ │ Acción Propuesta : (ver Fase 3) │ └────────────────────────────────────────────────────────────┘ ``` --- ## FASE 3 - MARCO DE DECISIÓN DE TRATAMIENTO ### *Aplique las reglas en orden estricto. No omita.* --- ### REGLA 0 - COLUMNA OBJETIVO (y) - MÁXIMA PRIORIDAD ``` SI la columna faltante ES la variable objetivo (y): → SIEMPRE elimine esas filas - NUNCA impute el objetivo → df.dropna(subset=[TARGET_COL], inplace=True) → Razón: Un modelo no puede aprender de datos no etiquetados ``` --- ### REGLA 1 - VERIFICACIÓN DE UMBRAL (% Faltante) ``` ┌────────────────────────────────────────────────────────────┐ │ SI % faltante > 60%: │ │ → OPCIÓN A: Eliminar la columna por completo │ │ (Excepción: el dominio la marca como crítica → alertar experto)│ │ → OPCIÓN B: Mantener + crear bandera indicadora binaria │ │ (col_estaba_faltante = 1) luego decidir sobre imputación │ │ │ │ SI 30% < % faltante ≤ 60%: │ │ → Use imputación avanzada: KNN o MICE (IterativeImputer) │ │ → Siempre cree una bandera indicadora de ausencia primero │ │ → Considere media/moda por grupos (condicional) │ │ │ │ SI % faltante ≤ 30%: │ │ → Proceda a la REGLA 2 │ └────────────────────────────────────────────────────────────┘ ``` --- ### REGLA 2 - ENRUTAMIENTO POR TIPO DE DATO ``` ┌────────────────────────────────────────────────────────────┐ │ NUMÉRICO - Continuo (float): │ │ ├─ Distribución simétrica (media ≈ mediana) → Imputación por media │ │ ├─ Distribución sesgada (con valores atípicos) → Imputación por mediana │ │ ├─ Serie temporal / filas ordenadas → Relleno hacia adelante / Interp │ │ ├─ MAR (correlacionado con otras cols) → Media por grupos │ │ └─ Patrones multivariados complejos → KNN / MICE │ │ │ │ NUMÉRICO - Discreto / Recuento (int): │ │ ├─ Cardinalidad baja (pocos valores únicos) → Imputación por moda│ │ └─ Cardinalidad alta → Mediana o KNN │ │ │ │ CATEGÓRICO - Nominal (sin orden): │ │ ├─ Cardinalidad baja → Imputación por moda │ │ ├─ Cardinalidad alta → "Desconocido" / "Faltante" como nueva categoría│ │ └─ MNAR sospechoso → "No_Proporcionado" como categoría significativa│ │ │ │ CATEGÓRICO - Ordinal (orden clasificado): │ │ ├─ Clasificación natural → Imputación por mediana de rango │ │ └─ MCAR / MAR → Imputación por moda │ │ │ │ FECHAHORA: │ │ ├─ Datos secuenciales → Relleno hacia adelante → Relleno hacia atrás│ │ └─ Brechas aleatorias → Interpolación │ │ │ │ BOOLEANO / BINARIO: │ │ └─ Imputación por moda (o tratar como categórico) │ └────────────────────────────────────────────────────────────┘ ``` --- ### REGLA 3 - GUÍA DE SELECCIÓN DE IMPUTACIÓN AVANZADA ``` ┌────────────────────────────────────────────────────────────┐ │ CUÁNDO USAR CADA MÉTODO AVANZADO │ │ │ │ Media/Moda por Grupos: │ │ → Cuando la ausencia es MAR condicionada a una columna de grupo│ │ → Ejemplo: rellenar NaN de ingresos usando la media por grupo_de_edad│ │ → Más realista que la media global │ │ │ │ Imputador KNN (k=5 predeterminado): │ │ → Cuando existen múltiples columnas numéricas correlacionadas │ │ → Encuentra k filas completas más cercanas y promedia sus valores│ │ → Más lento en conjuntos de datos grandes │ │ │ │ MICE / IterativeImputer: │ │ → Más potente - modela cada columna usando todas las demás │ │ → Mejor para MAR con relaciones multivariadas complejas │ │ → Use max_iter=10, random_state=42 para reproducibilidad │ │ → Más costoso computacionalmente │ │ │ │ Bandera Indicadora de Ausencia: │ │ → Siempre agregue para columnas MNAR │ │ → Opcional pero recomendado para columnas con 30%+ faltante │ │ → Crea: col_estaba_faltante = 1 si NaN, si no 0 │ │ → Indica al modelo "este valor estaba ausente" como señal │ └────────────────────────────────────────────────────────────┘ ``` --- ### REGLA 4 - COMPATIBILIDAD CON MODELOS DE ML ``` ┌────────────────────────────────────────────────────────────┐ │ Basados en árboles (XGBoost, LightGBM, CatBoost, RandomForest):│ │ → Pueden manejar NaN nativamente │ │ → Aún recomendado: crear banderas indicadoras para MNAR │ │ │ │ Modelos lineales (LogReg, LinearReg, Ridge, Lasso): │ │ → DEBEN imputar - tolerancia cero a NaN │ │ │ │ Redes neuronales / Aprendizaje profundo: │ │ → DEBEN imputar - sin tolerancia a NaN │ │ │ │ SVM, Clasificador KNN: │ │ → DEBEN imputar - sin tolerancia a NaN │ │ │ │ ⚠️ REGLA UNIVERSAL PARA TODOS LOS MODELOS: │ │ → Divida entrenamiento/prueba PRIMERO │ │ → Ajuste el imputador en SOLO ENTRENAMIENTO │ │ → Transforme AMBOS ENTRENAMIENTO y PRUEBA usando el imputador ajustado│ │ → Nunca ajuste en el conjunto de datos completo - causa fuga de datos│ └────────────────────────────────────────────────────────────┘ ``` --- ## FASE 4 - PLAN DE IMPLEMENTACIÓN EN PYTHON ```python from sklearn.pipeline import Pipeline from sklearn.impute import SimpleImputer, KNNImputer from sklearn.experimental import enable_iterative_imputer from sklearn.impute import IterativeImputer from sklearn.model_selection import train_test_split import pandas as pd import numpy as np # ───────────────────────────────────────────────────────────── # PASO 0 - Cargar y copiar DATA() # ───────────────────────────────────────────────────────────── df = DATA().copy() # ───────────────────────────────────────────────────────────── # PASO 1 - Estandarizar valores faltantes disfrazados # ───────────────────────────────────────────────────────────── DISGUISED_NULLS = ["?", "N/A", "n/a", "desconocido", "ninguno", " - ", "-", ""] df.replace(DISGUISED_NULLS, np.nan, inplace=True) # ───────────────────────────────────────────────────────────── # PASO 2 - Eliminar filas donde el OBJETIVO falta (Regla 0) # ───────────────────────────────────────────────────────────── TARGET_COL = 'su_columna_objetivo' # ← CAMBIE ESTO df.dropna(subset=[TARGET_COL], axis=0, inplace=True) # ───────────────────────────────────────────────────────────── # PASO 3 - Separar características y objetivo # ───────────────────────────────────────────────────────────── X = df.drop(columns=[TARGET_COL]) y = df[TARGET_COL] # ───────────────────────────────────────────────────────────── # PASO 4 - División Entrenamiento / Prueba ANTES de cualquier imputación # ───────────────────────────────────────────────────────────── X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42 ) # ───────────────────────────────────────────────────────────── # PASO 5 - Definir grupos de columnas (complete después de Fase 1-2) # ───────────────────────────────────────────────────────────── num_cols_simetricas = [] # → Imputación por media num_cols_sesgadas = [] # → Imputación por mediana cat_cols_baja_card = [] # → Imputación por moda cat_cols_alta_card = [] # → Relleno 'Desconocido' knn_cols = [] # → Imputación KNN drop_cols = [] # → Eliminar (>60% faltante o irrelevante al dominio) mnar_cols = [] # → Bandera indicadora + imputar # ───────────────────────────────────────────────────────────── # PASO 6 - Eliminar columnas con alta ausencia o irrelevantes # ───────────────────────────────────────────────────────────── X_train = X_train.drop(columns=drop_cols, errors='ignore') X_test = X_test.drop(columns=drop_cols, errors='ignore') # ───────────────────────────────────────────────────────────── # PASO 7 - Crear banderas indicadoras de ausencia ANTES de la imputación # ───────────────────────────────────────────────────────────── for col in mnar_cols: X_train[f'{col}_estaba_faltante'] = X_train[col].isnull().astype(int) X_test[f'{col}_estaba_faltante'] = X_test[col].isnull().astype(int) # ───────────────────────────────────────────────────────────── # PASO 8 - Imputación numérica # ───────────────────────────────────────────────────────────── if num_cols_simetricas: imp_media = SimpleImputer(strategy='mean') X_train[num_cols_simetricas] = imp_media.fit_transform(X_train[num_cols_simetricas]) X_test[num_cols_simetricas] = imp_media.transform(X_test[num_cols_simetricas]) if num_cols_sesgadas: imp_mediana = SimpleImputer(strategy='median') X_train[num_cols_sesgadas] = imp_mediana.fit_transform(X_train[num_cols_sesgadas]) X_test[num_cols_sesgadas] = imp_mediana.transform(X_test[num_cols_sesgadas]) # ───────────────────────────────────────────────────────────── # PASO 9 - Imputación categórica # ───────────────────────────────────────────────────────────── if cat_cols_baja_card: imp_moda = SimpleImputer(strategy='most_frequent') X_train[cat_cols_baja_card] = imp_moda.fit_transform(X_train[cat_cols_baja_card]) X_test[cat_cols_baja_card] = imp_moda.transform(X_test[cat_cols_baja_card]) if cat_cols_alta_card: X_train[cat_cols_alta_card] = X_train[cat_cols_alta_card].fillna('Desconocido') X_test[cat_cols_alta_card] = X_test[cat_cols_alta_card].fillna('Desconocido') # ───────────────────────────────────────────────────────────── # PASO 10 - Imputación por grupos (patrón MAR) # ───────────────────────────────────────────────────────────── # Ejemplo: rellenar NaN de 'ingresos' usando la media por 'grupo_de_edad' # COLUMNA_GRUPO = 'grupo_de_edad' # COLUMNA_IMP_OBJETIVO = 'ingresos' # medias_grupo = X_train.groupby(COLUMNA_GRUPO)[COLUMNA_IMP_OBJETIVO].mean() # X_train[COLUMNA_IMP_OBJETIVO] = X_train[COLUMNA_IMP_OBJETIVO].fillna( # X_train[COLUMNA_GRUPO].map(medias_grupo) # ) # X_test[COLUMNA_IMP_OBJETIVO] = X_test[COLUMNA_IMP_OBJETIVO].fillna( # X_test[COLUMNA_GRUPO].map(medias_grupo) # ) # ───────────────────────────────────────────────────────────── # PASO 11 - Imputación KNN para patrones complejos # ───────────────────────────────────────────────────────────── if knn_cols: imp_knn = KNNImputer(n_neighbors=5) X_train[knn_cols] = imp_knn.fit_transform(X_train[knn_cols]) X_test[knn_cols] = imp_knn.transform(X_test[knn_cols]) # ───────────────────────────────────────────────────────────── # PASO 12 - MICE / IterativeImputer (más potente, use cuando sea necesario) # ───────────────────────────────────────────────────────────── # imp_iter = IterativeImputer(max_iter=10, random_state=42) # X_train[cols_avanzadas] = imp_iter.fit_transform(X_train[cols_avanzadas]) # X_test[cols_avanzadas] = imp_iter.transform(X_test[cols_avanzadas]) # ───────────────────────────────────────────────────────────── # PASO 13 - Validación final # ───────────────────────────────────────────────────────────── restante_train = X_train.isnull().sum() restante_test = X_test.isnull().sum() assert restante_train.sum() == 0, f"Entrenamiento aún tiene faltantes:\n{restante_train[restante_train > 0]}" assert restante_test.sum() == 0, f"Prueba aún tiene faltantes:\n{restante_test[restante_test > 0]}" print("✅ No quedan valores faltantes. DATA() está listo para ML.") print(f" Forma de Entrenamiento: {X_train.shape} | Forma de Prueba: {X_test.shape}") ``` --- ## FASE 5 - SÍNTESIS Y INFORME DE DECISIONES Después de completar las Fases 1-4, entregue este informe exacto: ``` ══════════════════════════════════════════════════════════════ INFORME DE TRATAMIENTO DE VALORES FALTANTES ══════════════════════════════════════════════════════════════ 1. RESUMEN DEL CONJUNTO DE DATOS Forma : Total faltante : Columna objetivo : Tarea de ML : Tipo de modelo : 2. TABLA DE INVENTARIO DE AUSENCIA | Columna | %Faltante | TipoDato | Mecanismo | ¿Informativa? | Tratamiento | |---------|-----------|----------|-----------|---------------|-------------| | ... | ... | ... | ... | ... | ... | 3. REGISTRO DE DECISIONES [Columna]: [Razón para el tratamiento elegido] [Columna]: [Razón para el tratamiento elegido] 4. COLUMNAS ELIMINADAS [Columna] - Razón: [p. ej., 72% faltante, no crítica para el dominio] 5. BANDERAS INDICADORAS CREADAS [col_estaba_faltante] - Razón: [MNAR sospechoso / % faltante alto] 6. MÉTODOS DE IMPUTACIÓN UTILIZADOS [Columna(s)] → [Estrategia utilizada + justificación] 7. ADVERTENCIAS Y CASOS LÍMITE - Columnas MNAR que necesitan revisión de experto de dominio - Suposiciones hechas durante la imputación - Columnas marcadas para reevaluación después del EDA completo - Cualquier nulo disfrazado encontrado (?, N/A, 0, etc.) 8. PRÓXIMOS PASOS - Lista de verificación posterior a la imputación ☐ Comparar distribuciones antes vs después de la imputación (histogramas) ☐ Confirmar que todos los imputadores se ajustaron SOLO en ENTRENAMIENTO ☐ Validar cero fuga de datos de la columna objetivo ☐ Revisar la matriz de correlación posterior a la imputación ☐ Verificar el equilibrio de clases si es una tarea de clasificación ☐ Documentar todas las transformaciones para reproducibilidad ══════════════════════════════════════════════════════════════ ``` --- ## RESTRICCIONES Y PROTECCIONES ``` ✅ SIEMPRE DEBE: → Trabajar en df.copy() - nunca mutar el DATA() original → Eliminar filas donde el objetivo (y) falta - NUNCA imputar y → Ajustar todos los imputadores SOLO en datos de ENTRENAMIENTO → Transformar PRUEBA usando imputadores ya ajustados (sin reajuste) → Crear banderas indicadoras para todas las columnas MNAR → Validar que no queden nulos antes de pasar al modelo → Buscar valores faltantes disfrazados (?, N/A, 0, en blanco, "desconocido") → Documentar cada decisión con razonamiento explícito ❌ NUNCA DEBE: → Imputar a ciegas sin verificar las distribuciones primero → Eliminar columnas sin verificar su importancia en el dominio → Ajustar el imputador en el conjunto de datos completo antes de la división entrenamiento/prueba (FUGA DE DATOS) → Ignorar columnas MNAR - pueden sesgar severamente el modelo → Aplicar una estrategia idéntica a todas las columnas → Asumir que NaN es la única forma que puede tomar un valor faltante ``` --- ## REFERENCIA RÁPIDA - HOJA DE TRUCOS DE ESTRATEGIA | Situación | Estrategia | |-----------|------------| | Columna objetivo (y) tiene NaN | Eliminar filas - nunca imputar | | Columna > 60% faltante | Eliminar columna (o indicador + revisión de experto) | | Numérico, distribución simétrica | Imputación por media | | Numérico, distribución sesgada | Imputación por mediana | | Numérico, serie temporal | Relleno hacia adelante / Interpolación | | Categórico, cardinalidad baja | Imputación por moda | | Categórico, cardinalidad alta | Rellenar con categoría 'Desconocido' | | MNAR sospechoso (cualquier tipo) | Bandera indicadora + revisión de dominio | | MAR, condicionado a grupo | Media/moda por grupos | | Patrones multivariados complejos | Imputador KNN o MICE | | Modelo basado en árboles (XGBoost etc.) | NaN tolerado; aún marcar MNAR | | Lineal / NN / SVM | Debe imputar - tolerancia cero a NaN | --- *PROMPT() v1.0 - Construido para Ingeniería de IA Generativa de IBM / Análisis de Datos con Python* *Marco: Cadena de Pensamiento (CoT) + Árbol de Pensamiento (ToT)* *Referencia: Coursera - Tratamiento de Valores Faltantes en Python*