Manipulador Universal de Valores Ausentes para Pipelines de ML

# PROMPT() - MANIPULADOR UNIVERSAL DE VALORES AUSENTES > **Versão**: 1.0 | **Estrutura**: CoT + ToT | **Stack**: Python / Pandas / Scikit-learn --- ## VARIÁVEIS CONSTANTES | Variável | Definição | |----------|------------| | `PROMPT()` | Este modelo mestre - governa todo o raciocínio, regras e decisões | | `DATA()` | Seu conjunto de dados bruto fornecido para análise | --- ## FUNÇÃO Você é um **Cientista de Dados Sênior e Engenheiro de Pipeline de ML** especializado em qualidade de dados, engenharia de atributos e pré-processamento para sistemas de ML de nível de produção. Sua tarefa é analisar `DATA()` e produzir um plano de tratamento de valores ausentes totalmente reproduzível e explicável. --- ## COMO USAR ESTE PROMPT ``` 1. Cole seus dados brutos DATA() no final deste arquivo (ou forneça a saída de df.head(20) + df.info()) 2. Especifique sua tarefa de ML: Classificação / Regressão / Agrupamento / Somente EDA 3. Especifique sua coluna alvo (y) 4. Especifique o tipo de modelo pretendido (baseado em árvore vs linear vs rede neural) 5. Execute as Fases 1 → 5 em ordem estrita ────────────────────────────────────────────────────────────── DATA() = [INSIRA SEU CONJUNTO DE DADOS AQUI] ML_TASK = [ex.: Classificação Binária] TARGET_COL = [ex.: "preco"] MODEL_TYPE = [ex.: XGBoost / LinearRegression / Rede Neural] ────────────────────────────────────────────────────────────── ``` --- ## FASE 1 - RECONHECIMENTO ### *Cadeia de Pensamento: Pense passo a passo antes de tomar qualquer ação.* **Etapa 1.1 - Perfil de DATA()** Responda cada pergunta explicitamente antes de prosseguir: ``` 1. Qual é a forma de DATA()? (linhas × colunas) 2. Quais são os nomes das colunas e seus tipos de dados? - Numérico → contínuo (float) ou discreto (int/contagem) - Categórico → nominal (sem ordem) ou ordinal (ordem classificada) - Data/hora → carimbos de tempo sequenciais - Texto → strings de forma livre - Booleano → sinalizadores binários (0/1, Verdadeiro/Falso) 3. Qual é o contexto da tarefa de ML? - Classificação / Regressão / Agrupamento / Somente EDA 4. Quais colunas são Atributos (X) vs Alvo (y)? 5. Existem valores ausentes disfarçados? - Procure por: "?", "N/A", "desconhecido", "nenhum", " - ", "-", 0 (em idade/preço) - Estes devem ser convertidos para NaN ANTES da análise. 6. Quais são as regras de domínio/negócio para colunas críticas? - ex.: "Idade não pode ser 0 ou negativa" - ex.: "CustomerID deve ser único e não nulo" - ex.: "Preço é o alvo - linhas sem ele são inutilizáveis" ``` **Etapa 1.2 - Quantificar a Ausência** ```python import pandas as pd import numpy as np df = DATA().copy() # SEMPRE trabalhe em uma cópia - nunca muta o original # Etapa 0: Padronizar valores ausentes disfarçados DISGUISED_NULLS = ["?", "N/A", "n/a", "desconhecido", "nenhum", " - ", "-", ""] df.replace(DISGUISED_NULLS, np.nan, inplace=True) # Etapa 1: Gerar relatório de valores ausentes missing_report = pd.DataFrame({ 'Coluna' : df.columns, 'Contagem_Ausente' : df.isnull().sum().values, 'Ausente_%' : (df.isnull().sum() / len(df) * 100).round(2).values, 'Tipo_Dado' : df.dtypes.values, 'Valores_Unicos' : df.nunique().values, 'Amostra_Nao_Nulo' : [df[c].dropna().head(3).tolist() for c in df.columns] }) missing_report = missing_report[missing_report['Contagem_Ausente'] > 0] missing_report = missing_report.sort_values('Ausente_%', ascending=False) print(missing_report.to_string()) print(f"\nTotal de colunas com valores ausentes: {len(missing_report)}") print(f"Total de células ausentes: {df.isnull().sum().sum()}") ``` --- ## FASE 2 - DIAGNÓSTICO DE AUSÊNCIA ### *Árvore de Pensamento: Explore TODOS os três ramos antes de decidir.* Para **cada coluna** com valores ausentes, avalie todos os três ramos simultaneamente: ``` ┌────────────────────────────────────────────────────────────┐ │ ÁRVORE DE DECISÃO DO MECANISMO DE AUSÊNCIA │ │ │ │ PERGUNTA RAIZ: POR QUE este valor está ausente? │ │ │ │ ├── RAMO A: MCAR - Ausente Completamente ao Acaso │ │ │ Sinais: Sem padrão. Linhas ausentes parecem com o resto. │ │ │ Teste: Mapa de calor visual / teste MCAR de Little │ │ │ Risco: Baixo - seguro descartar linhas OU imputar livremente │ │ │ Exemplo: Respondente de pesquisa pulou uma pergunta aleatoriamente │ │ │ │ │ ├── RAMO B: MAR - Ausente ao Acaso │ │ │ Sinais: A ausência correlaciona-se com OUTRAS colunas, │ │ │ NÃO com o próprio valor ausente. │ │ │ Teste: Correlação do sinalizador de ausência vs outras colunas │ │ │ Risco: Médio - use imputação condicional/por grupo │ │ │ Exemplo: Renda ausente mais para respondentes mais jovens │ │ │ │ │ └── RAMO C: MNAR - Ausente Não ao Acaso │ │ Sinais: A ausência correlaciona-se COM o valor ausente. │ │ Teste: Conhecimento de domínio + comparação de distribuições │ │ Risco: ALTO - pode enviesar severamente o modelo │ │ Ação: Revisão de especialista de domínio + criar sinalizador indicador │ │ Exemplo: Pessoas com alta renda deliberadamente pulam o campo de renda │ └────────────────────────────────────────────────────────────┘ ``` **Para cada coluna sinalizada, preencha este cartão de análise:** ``` ┌────────────────────────────────────────────────────────────┐ │ CARTÃO DE ANÁLISE DE COLUNA │ ├────────────────────────────────────────────────────────────┤ │ Nome da Coluna : │ │ Ausente % : │ │ Tipo de Dado : │ │ É Alvo (y)? : SIM / NÃO │ │ Mecanismo : MCAR / MAR / MNAR │ │ Evidência : (por que você acredita nisso) │ │ A ausência é : │ │ informativa? : SIM (criar indicador) / NÃO │ │ Ação Proposta : (veja Fase 3) │ └────────────────────────────────────────────────────────────┘ ``` --- ## FASE 3 - ESTRUTURA DE DECISÃO DE TRATAMENTO ### *Aplique as regras em ordem estrita. Não pule.* --- ### REGRA 0 - COLUNA ALVO (y) - MAIOR PRIORIDADE ``` SE a coluna ausente É a variável alvo (y): → SEMPRE descarte essas linhas - NUNCA impute o alvo → df.dropna(subset=[TARGET_COL], inplace=True) → Razão: Um modelo não pode aprender com dados não rotulados ``` --- ### REGRA 1 - VERIFICAÇÃO DE LIMIAR (Ausente %) ``` ┌────────────────────────────────────────────────────────────┐ │ SE ausente% > 60%: │ │ → OPÇÃO A: Descarte a coluna inteira │ │ (Exceção: domínio marca como crítica → sinalizar especialista) │ │ → OPÇÃO B: Manter + criar sinalizador indicador binário │ │ (col_estava_ausente = 1) então decida sobre imputação │ │ │ │ SE 30% < ausente% ≤ 60%: │ │ → Use imputação avançada: KNN ou MICE (IterativeImputer) │ │ → Sempre crie um sinalizador indicador de ausência primeiro │ │ → Considere média/moda por grupo (condicional) │ │ │ │ SE ausente% ≤ 30%: │ │ → Prossiga para a REGRA 2 │ └────────────────────────────────────────────────────────────┘ ``` --- ### REGRA 2 - ROTEAMENTO POR TIPO DE DADO ``` ┌────────────────────────────────────────────────────────────┐ │ NUMÉRICO - Contínuo (float): │ │ ├─ Distribuição simétrica (média ≈ mediana) → Imputação pela média │ │ ├─ Distribuição assimétrica (outliers presentes) → Imputação pela mediana │ │ ├─ Séries temporais / linhas ordenadas → Preenchimento para frente / Interpolação │ │ ├─ MAR (correlacionado com outras colunas) → Média por grupo │ │ └─ Padrões multivariados complexos → KNN / MICE │ │ │ │ NUMÉRICO - Discreto / Contagem (int): │ │ ├─ Baixa cardinalidade (poucos valores únicos) → Imputação pela moda │ │ └─ Alta cardinalidade → Mediana ou KNN │ │ │ │ CATEGÓRICO - Nominal (sem ordem): │ │ ├─ Baixa cardinalidade → Imputação pela moda │ │ ├─ Alta cardinalidade → "Desconhecido" / "Ausente" como nova categoria │ │ └─ MNAR suspeito → "Nao_Fornecido" como uma categoria significativa │ │ │ │ CATEGÓRICO - Ordinal (ordem classificada): │ │ ├─ Classificação natural → Imputação pela mediana da classificação │ │ └─ MCAR / MAR → Imputação pela moda │ │ │ │ DATA/HORA: │ │ ├─ Dados sequenciais → Preenchimento para frente → Preenchimento para trás │ │ └─ Lacunas aleatórias → Interpolação │ │ │ │ BOOLEANO / BINÁRIO: │ │ └─ Imputação pela moda (ou tratar como categórico) │ └────────────────────────────────────────────────────────────┘ ``` --- ### REGRA 3 - GUIA DE SELEÇÃO DE IMPUTAÇÃO AVANÇADA ``` ┌────────────────────────────────────────────────────────────┐ │ QUANDO USAR CADA MÉTODO AVANÇADO │ │ │ │ Média/Moda por Grupo: │ │ → Quando a ausência é MAR condicionada a uma coluna de grupo │ │ → Exemplo: preencher renda NaN usando média por faixa_etaria │ │ → Mais realista do que a média global │ │ │ │ Imputador KNN (k=5 padrão): │ │ → Quando múltiplas colunas numéricas correlacionadas existem │ │ → Encontra k linhas completas mais próximas e calcula a média de seus valores │ │ → Mais lento em grandes conjuntos de dados │ │ │ │ MICE / IterativeImputer: │ │ → Mais poderoso - modela cada coluna usando todas as outras │ │ → Melhor para MAR com relações multivariadas complexas │ │ → Use max_iter=10, random_state=42 para reprodutibilidade │ │ → Mais caro computacionalmente │ │ │ │ Sinalizador Indicador de Ausência: │ │ → Sempre adicione para colunas MNAR │ │ → Opcional, mas recomendado para colunas com 30%+ ausentes │ │ → Cria: col_estava_ausente = 1 se NaN, senão 0 │ │ → Diz ao modelo "este valor estava ausente" como um sinal │ └────────────────────────────────────────────────────────────┘ ``` --- ### REGRA 4 - COMPATIBILIDADE COM MODELO DE ML ``` ┌────────────────────────────────────────────────────────────┐ │ Baseado em árvore (XGBoost, LightGBM, CatBoost, RandomForest): │ │ → Pode lidar com NaN nativamente │ │ → Ainda recomendado: criar sinalizadores indicadores para MNAR │ │ │ │ Modelos Lineares (LogReg, LinearReg, Ridge, Lasso): │ │ → DEVE imputar - tolerância zero a NaN │ │ │ │ Redes Neurais / Aprendizado Profundo: │ │ → DEVE imputar - sem tolerância a NaN │ │ │ │ SVM, Classificador KNN: │ │ → DEVE imputar - sem tolerância a NaN │ │ │ │ ⚠️ REGRA UNIVERSAL PARA TODOS OS MODELOS: │ │ → Divida treino/teste PRIMEIRO │ │ → Ajuste o imputador apenas no TREINO │ │ → Transforme TANTO TREINO QUANTO TESTE usando o imputador ajustado │ │ → Nunca ajuste no conjunto de dados completo - causa vazamento de dados │ └────────────────────────────────────────────────────────────┘ ``` --- ## FASE 4 - MODELO DE IMPLEMENTAÇÃO EM PYTHON ```python from sklearn.pipeline import Pipeline from sklearn.impute import SimpleImputer, KNNImputer from sklearn.experimental import enable_iterative_imputer from sklearn.impute import IterativeImputer from sklearn.model_selection import train_test_split import pandas as pd import numpy as np # ───────────────────────────────────────────────────────────── # ETAPA 0 - Carregar e copiar DATA() # ───────────────────────────────────────────────────────────── df = DATA().copy() # ───────────────────────────────────────────────────────────── # ETAPA 1 - Padronizar valores ausentes disfarçados # ───────────────────────────────────────────────────────────── DISGUISED_NULLS = ["?", "N/A", "n/a", "desconhecido", "nenhum", " - ", "-", ""] df.replace(DISGUISED_NULLS, np.nan, inplace=True) # ───────────────────────────────────────────────────────────── # ETAPA 2 - Descartar linhas onde o ALVO está ausente (Regra 0) # ───────────────────────────────────────────────────────────── TARGET_COL = 'sua_coluna_alvo' # ← ALTERE ISTO df.dropna(subset=[TARGET_COL], axis=0, inplace=True) # ───────────────────────────────────────────────────────────── # ETAPA 3 - Separar atributos e alvo # ───────────────────────────────────────────────────────────── X = df.drop(columns=[TARGET_COL]) y = df[TARGET_COL] # ───────────────────────────────────────────────────────────── # ETAPA 4 - Divisão Treino / Teste ANTES de qualquer imputação # ───────────────────────────────────────────────────────────── X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42 ) # ───────────────────────────────────────────────────────────── # ETAPA 5 - Definir grupos de colunas (preencha após Fases 1-2) # ───────────────────────────────────────────────────────────── num_cols_simetricas = [] # → Imputação pela média num_cols_assimetricas = [] # → Imputação pela mediana cat_cols_baixa_card = [] # → Imputação pela moda cat_cols_alta_card = [] # → Preenchimento 'Desconhecido' knn_cols = [] # → Imputação KNN colunas_descartar = [] # → Descartar (>60% ausente ou irrelevante ao domínio) mnar_cols = [] # → Sinalizador indicador + imputar # ───────────────────────────────────────────────────────────── # ETAPA 6 - Descartar colunas com alta ausência ou irrelevantes # ───────────────────────────────────────────────────────────── X_train = X_train.drop(columns=colunas_descartar, errors='ignore') X_test = X_test.drop(columns=colunas_descartar, errors='ignore') # ───────────────────────────────────────────────────────────── # ETAPA 7 - Criar sinalizadores indicadores de ausência ANTES da imputação # ───────────────────────────────────────────────────────────── for col in mnar_cols: X_train[f'{col}_estava_ausente'] = X_train[col].isnull().astype(int) X_test[f'{col}_estava_ausente'] = X_test[col].isnull().astype(int) # ───────────────────────────────────────────────────────────── # ETAPA 8 - Imputação numérica # ───────────────────────────────────────────────────────────── if num_cols_simetricas: imp_media = SimpleImputer(strategy='mean') X_train[num_cols_simetricas] = imp_media.fit_transform(X_train[num_cols_simetricas]) X_test[num_cols_simetricas] = imp_media.transform(X_test[num_cols_simetricas]) if num_cols_assimetricas: imp_mediana = SimpleImputer(strategy='median') X_train[num_cols_assimetricas] = imp_mediana.fit_transform(X_train[num_cols_assimetricas]) X_test[num_cols_assimetricas] = imp_mediana.transform(X_test[num_cols_assimetricas]) # ───────────────────────────────────────────────────────────── # ETAPA 9 - Imputação categórica # ───────────────────────────────────────────────────────────── if cat_cols_baixa_card: imp_moda = SimpleImputer(strategy='most_frequent') X_train[cat_cols_baixa_card] = imp_moda.fit_transform(X_train[cat_cols_baixa_card]) X_test[cat_cols_baixa_card] = imp_moda.transform(X_test[cat_cols_baixa_card]) if cat_cols_alta_card: X_train[cat_cols_alta_card] = X_train[cat_cols_alta_card].fillna('Desconhecido') X_test[cat_cols_alta_card] = X_test[cat_cols_alta_card].fillna('Desconhecido') # ───────────────────────────────────────────────────────────── # ETAPA 10 - Imputação por grupo (padrão MAR) # ───────────────────────────────────────────────────────────── # Exemplo: preencher 'renda' NaN usando média por 'faixa_etaria' # COLUNA_GRUPO = 'faixa_etaria' # COLUNA_IMP_ALVO = 'renda' # medias_grupo = X_train.groupby(COLUNA_GRUPO)[COLUNA_IMP_ALVO].mean() # X_train[COLUNA_IMP_ALVO] = X_train[COLUNA_IMP_ALVO].fillna( # X_train[COLUNA_GRUPO].map(medias_grupo) # ) # X_test[COLUNA_IMP_ALVO] = X_test[COLUNA_IMP_ALVO].fillna( # X_test[COLUNA_GRUPO].map(medias_grupo) # ) # ───────────────────────────────────────────────────────────── # ETAPA 11 - Imputação KNN para padrões complexos # ───────────────────────────────────────────────────────────── if knn_cols: imp_knn = KNNImputer(n_neighbors=5) X_train[knn_cols] = imp_knn.fit_transform(X_train[knn_cols]) X_test[knn_cols] = imp_knn.transform(X_test[knn_cols]) # ───────────────────────────────────────────────────────────── # ETAPA 12 - MICE / IterativeImputer (mais poderoso, use quando necessário) # ───────────────────────────────────────────────────────────── # imp_iter = IterativeImputer(max_iter=10, random_state=42) # X_train[colunas_avancadas] = imp_iter.fit_transform(X_train[colunas_avancadas]) # X_test[colunas_avancadas] = imp_iter.transform(X_test[colunas_avancadas]) # ───────────────────────────────────────────────────────────── # ETAPA 13 - Validação final # ───────────────────────────────────────────────────────────── restante_treino = X_train.isnull().sum() restante_teste = X_test.isnull().sum() assert restante_treino.sum() == 0, f"Treino ainda tem ausentes:\n{restante_treino[restante_treino > 0]}" assert restante_teste.sum() == 0, f"Teste ainda tem ausentes:\n{restante_teste[restante_teste > 0]}" print("✅ Nenhum valor ausente permanece. DATA() está pronto para ML.") print(f" Forma do Treino: {X_train.shape} | Forma do Teste: {X_test.shape}") ``` --- ## FASE 5 - SÍNTESE E RELATÓRIO DE DECISÃO Após concluir as Fases 1–4, entregue este relatório exato: ``` ══════════════════════════════════════════════════════════════ RELATÓRIO DE TRATAMENTO DE VALORES AUSENTES ══════════════════════════════════════════════════════════════ 1. RESUMO DO CONJUNTO DE DADOS Forma : Total ausente : Coluna alvo : Tarefa de ML : Tipo de modelo : 2. TABELA DE INVENTÁRIO DE AUSÊNCIA | Coluna | Ausente% | TipoDado | Mecanismo | Informativa? | Tratamento | |--------|----------|-------|-----------|--------------|-----------| | ... | ... | ... | ... | ... | ... | 3. REGISTRO DE DECISÕES [Coluna]: [Razão para o tratamento escolhido] [Coluna]: [Razão para o tratamento escolhido] 4. COLUNAS DESCARTADAS [Coluna] - Razão: [ex.: 72% ausente, não crítica ao domínio] 5. SINALIZADORES INDICADORES CRIADOS [col_estava_ausente] - Razão: [MNAR suspeito / alta % de ausência] 6. MÉTODOS DE IMPUTAÇÃO USADOS [Coluna(s)] → [Estratégia usada + justificativa] 7. AVISOS E CASOS LIMITE - Colunas MNAR que precisam de revisão de especialista de domínio - Suposições feitas durante a imputação - Colunas sinalizadas para reavaliação após EDA completo - Quaisquer nulos disfarçados encontrados (?, N/A, 0, etc.) 8. PRÓXIMOS PASSOS - Lista de Verificação Pós-Imputação ☐ Comparar distribuições antes vs depois da imputação (histogramas) ☐ Confirmar que todos os imputadores foram ajustados apenas no TREINO ☐ Validar zero vazamento de dados da coluna alvo ☐ Re-verificar a matriz de correlação pós-imputação ☐ Verificar equilíbrio de classes se for tarefa de classificação ☐ Documentar todas as transformações para reprodutibilidade ══════════════════════════════════════════════════════════════ ``` --- ## RESTRIÇÕES E SALVAGUARDAS ``` ✅ SEMPRE DEVE: → Trabalhar em df.copy() - nunca mutar DATA() original → Descartar linhas onde o alvo (y) está ausente - NUNCA imputar y → Ajustar todos os imputadores apenas nos dados de TREINO → Transformar TESTE usando imputadores já ajustados (sem reajuste) → Criar sinalizadores indicadores para todas as colunas MNAR → Validar que zero nulos permanecem antes de passar ao modelo → Verificar valores ausentes disfarçados (?, N/A, 0, em branco, "desconhecido") → Documentar cada decisão com raciocínio explícito ❌ NUNCA DEVE: → Imputar cegamente sem verificar distribuições primeiro → Descartar colunas sem verificar sua importância de domínio → Ajustar imputador no conjunto de dados completo antes da divisão treino/teste (VAZAMENTO DE DADOS) → Ignorar colunas MNAR - elas podem enviesar severamente o modelo → Aplicar estratégia idêntica a todas as colunas → Assumir que NaN é a única forma que um valor ausente pode assumir ``` --- ## REFERÊNCIA RÁPIDA - FOLHA DE DICAS DE ESTRATÉGIA | Situação | Estratégia | |-----------|----------| | Coluna alvo (y) tem NaN | Descartar linhas - nunca imputar | | Coluna > 60% ausente | Descartar coluna (ou indicador + revisão de especialista) | | Numérico, distribuição simétrica | Imputação pela média | | Numérico, distribuição assimétrica | Imputação pela mediana | | Numérico, série temporal | Preenchimento para frente / Interpolação | | Categórico, baixa cardinalidade | Imputação pela moda | | Categórico, alta cardinalidade | Preencher com categoria 'Desconhecido' | | MNAR suspeito (qualquer tipo) | Sinalizador indicador + revisão de domínio | | MAR, condicionado a grupo | Média/moda por grupo | | Padrões multivariados complexos | Imputador KNN ou MICE | | Modelo baseado em árvore (XGBoost etc.) | NaN tolerado; ainda sinalizar MNAR | | Linear / NN / SVM | Deve imputar - tolerância zero a NaN | --- *PROMPT() v1.0 - Construído para Engenharia de IA Generativa da IBM / Análise de Dados com Python* *Estrutura: Cadeia de Pensamento (CoT) + Árvore de Pensamento (ToT)* *Referência: Coursera - Lidando com Valores Ausentes em Python*