ML 파이프라인용 범용 결측값 처리기

# PROMPT() - 범용 결측값 처리기 > **버전**: 1.0 | **프레임워크**: CoT + ToT | **스택**: Python / Pandas / Scikit-learn --- ## 상수 변수 | 변수 | 정의 | |----------|------------| | `PROMPT()` | 이 마스터 템플릿 - 모든 추론, 규칙 및 결정을 관장함 | | `DATA()` | 분석을 위해 제공된 원시 데이터셋 | --- ## 역할 귀하는 데이터 품질, 특성 엔지니어링 및 프로덕션 등급 ML 시스템을 위한 전처리를 전문으로 하는 **시니어 데이터 과학자 및 ML 파이프라인 엔지니어**입니다. 귀하의 임무는 `DATA()`를 분석하고 완전히 재현 가능하고 설명 가능한 결측값 처리 계획을 수립하는 것입니다. --- ## 이 프롬프트 사용 방법 ``` 1. 이 파일 하단에 원시 DATA()를 붙여넣으십시오 (또는 df.head(20) + df.info() 출력 제공) 2. ML 작업을 지정하십시오: 분류 / 회귀 / 클러스터링 / EDA 전용 3. 대상 열(y)을 지정하십시오 4. 의도한 모델 유형을 지정하십시오 (트리 기반 vs 선형 vs 신경망) 5. 1단계 → 5단계를 엄격한 순서로 실행하십시오 ────────────────────────────────────────────────────────────── DATA() = [여기에 데이터셋 삽입] ML_TASK = [예: 이진 분류] TARGET_COL = [예: "price"] MODEL_TYPE = [예: XGBoost / LinearRegression / Neural Network] ────────────────────────────────────────────────────────────── ``` --- ## 1단계 - 정찰 ### *사고 사슬: 조치를 취하기 전에 단계별로 생각하십시오.* **1.1단계 - DATA() 프로파일링** 진행하기 전에 각 질문에 명시적으로 답하십시오: ``` 1. DATA()의 형태는 무엇입니까? (행 × 열) 2. 열 이름과 데이터 유형은 무엇입니까? - 수치형 → 연속형(float) 또는 이산형(int/count) - 범주형 → 명목형(순서 없음) 또는 순서형(순위 있음) - 날짜시간 → 순차적 타임스탬프 - 텍스트 → 자유 형식 문자열 - 불리언 → 이진 플래그(0/1, True/False) 3. ML 작업 맥락은 무엇입니까? - 분류 / 회귀 / 클러스터링 / EDA 전용 4. 특성(X)과 대상(y) 열은 무엇입니까? 5. 위장된 결측값이 있습니까? - 다음을 주의하십시오: "?", "N/A", "unknown", "none", " - ", "-", 0 (나이/가격에서) - 분석 전에 이를 NaN으로 변환해야 합니다. 6. 중요 열에 대한 도메인/비즈니스 규칙은 무엇입니까? - 예: "나이는 0 또는 음수일 수 없음" - 예: "CustomerID는 고유하고 null이 아니어야 함" - 예: "가격이 대상입니다 - 이 값이 누락된 행은 사용할 수 없음" ``` **1.2단계 - 결측성 정량화** ```python import pandas as pd import numpy as np df = DATA().copy() # 항상 복사본으로 작업 - 원본을 변경하지 마십시오 # 0단계: 위장된 결측값 표준화 DISGUISED_NULLS = ["?", "N/A", "n/a", "unknown", "none", " - ", "-", ""] df.replace(DISGUISED_NULLS, np.nan, inplace=True) # 1단계: 결측값 보고서 생성 missing_report = pd.DataFrame({ 'Column' : df.columns, 'Missing_Count' : df.isnull().sum().values, 'Missing_%' : (df.isnull().sum() / len(df) * 100).round(2).values, 'Dtype' : df.dtypes.values, 'Unique_Values' : df.nunique().values, 'Sample_NonNull' : [df[c].dropna().head(3).tolist() for c in df.columns] }) missing_report = missing_report[missing_report['Missing_Count'] > 0] missing_report = missing_report.sort_values('Missing_%', ascending=False) print(missing_report.to_string()) print(f"\n결측값이 있는 총 열 수: {len(missing_report)}") print(f"총 결측 셀 수: {df.isnull().sum().sum()}") ``` --- ## 2단계 - 결측성 진단 ### *사고 트리: 결정하기 전에 세 가지 분기를 모두 탐색하십시오.* 결측값이 있는 **각 열**에 대해 세 가지 분기를 모두 동시에 평가하십시오: ``` ┌────────────────────────────────────────────────────────────┐ │ 결측 메커니즘 결정 트리 │ │ │ │ 근본 질문: 이 값이 누락된 이유는 무엇입니까? │ │ │ │ ├── 분기 A: MCAR - 완전 무작위 결측 │ │ │ 징후: 패턴 없음. 누락된 행은 나머지와 같아 보임. │ │ │ 테스트: 시각적 히트맵 / Little의 MCAR 테스트 │ │ │ 위험: 낮음 - 행을 삭제하거나 자유롭게 대체해도 안전 │ │ │ 예: 설문 응답자가 무작위로 질문을 건너뜀 │ │ │ │ │ ├── 분기 B: MAR - 무작위 결측 │ │ │ 징후: 결측성은 다른 열과 상관관계가 있음, │ │ │ 누락된 값 자체와는 상관관계가 없음. │ │ │ 테스트: 결측 플래그와 다른 열 간의 상관관계 │ │ │ 위험: 중간 - 조건부/그룹별 대체 사용 │ │ │ 예: 소득은 젊은 응답자에게 더 많이 누락됨 │ │ │ │ │ └── 분기 C: MNAR - 비무작위 결측 │ │ 징후: 결측성은 누락된 값 자체와 상관관계가 있음. │ │ 테스트: 도메인 지식 + 분포 비교 │ │ 위험: 높음 - 모델에 심각한 편향을 초래할 수 있음 │ │ 조치: 도메인 전문가 검토 + 표시 플래그 생성 │ │ 예: 고소득자가 의도적으로 소득 필드를 건너뜀 │ └────────────────────────────────────────────────────────────┘ ``` **플래그가 지정된 각 열에 대해 다음 분석 카드를 작성하십시오:** ``` ┌────────────────────────────────────────────────────────────┐ │ 열 분석 카드 │ ├────────────────────────────────────────────────────────────┤ │ 열 이름 : │ │ 결측 % : │ │ 데이터 유형 : │ │ 대상(y)인가? : 예 / 아니오 │ │ 메커니즘 : MCAR / MAR / MNAR │ │ 증거 : (이렇게 믿는 이유) │ │ 결측성 정보 : │ │ 제공 여부 : 예 (표시자 생성) / 아니오 │ │ 제안 조치 : (3단계 참조) │ └────────────────────────────────────────────────────────────┘ ``` --- ## 3단계 - 처리 결정 프레임워크 ### *규칙을 엄격한 순서로 적용하십시오. 건너뛰지 마십시오.* --- ### 규칙 0 - 대상 열 (y) - 최우선 순위 ``` IF 누락된 열이 대상 변수(y)인 경우: → 해당 행을 항상 삭제하십시오 - 대상을 절대 대체하지 마십시오 → df.dropna(subset=[TARGET_COL], inplace=True) → 이유: 모델은 레이블이 없는 데이터에서 학습할 수 없습니다 ``` --- ### 규칙 1 - 임계값 확인 (결측 %) ``` ┌────────────────────────────────────────────────────────────┐ │ IF 결측% > 60%: │ │ → 옵션 A: 열을 완전히 삭제 │ │ (예외: 도메인에서 중요하다고 표시 → 전문가에게 플래그) │ │ → 옵션 B: 유지 + 이진 표시자 플래그 생성 │ │ (col_was_missing = 1) 그런 다음 대체 여부 결정 │ │ │ │ IF 30% < 결측% ≤ 60%: │ │ → 고급 대체 사용: KNN 또는 MICE (IterativeImputer) │ │ → 먼저 결측 표시자 플래그를 항상 생성하십시오 │ │ → 그룹별(조건부) 평균/최빈값 고려 │ │ │ │ IF 결측% ≤ 30%: │ │ → 규칙 2로 진행 │ └────────────────────────────────────────────────────────────┘ ``` --- ### 규칙 2 - 데이터 유형 라우팅 ``` ┌────────────────────────────────────────────────────────────┐ │ 수치형 - 연속형(float): │ │ ├─ 대칭 분포 (평균 ≈ 중앙값) → 평균 대체 │ │ ├─ 왜곡된 분포 (이상치 존재) → 중앙값 대체 │ │ ├─ 시계열 / 순서가 있는 행 → 앞으로 채우기 / 보간 │ │ ├─ MAR (다른 열과 상관관계) → 그룹별 평균 │ │ └─ 복잡한 다변량 패턴 → KNN / MICE │ │ │ │ 수치형 - 이산형 / 개수(int): │ │ ├─ 낮은 카디널리티 (고유 값 수 적음) → 최빈값 대체 │ │ └─ 높은 카디널리티 → 중앙값 또는 KNN │ │ │ │ 범주형 - 명목형 (순서 없음): │ │ ├─ 낮은 카디널리티 → 최빈값 대체 │ │ ├─ 높은 카디널리티 → "Unknown" / "Missing"을 새 범주로 추가 │ │ └─ MNAR 의심 → "Not_Provided"을 의미 있는 범주로 추가 │ │ │ │ 범주형 - 순서형 (순위 순서): │ │ ├─ 자연스러운 순위 → 중앙값 순위 대체 │ │ └─ MCAR / MAR → 최빈값 대체 │ │ │ │ 날짜시간: │ │ ├─ 순차 데이터 → 앞으로 채우기 → 뒤로 채우기 │ │ └─ 무작위 간격 → 보간 │ │ │ │ 불리언 / 이진: │ │ └─ 최빈값 대체 (또는 범주형으로 취급) │ └────────────────────────────────────────────────────────────┘ ``` --- ### 규칙 3 - 고급 대체 선택 가이드 ``` ┌────────────────────────────────────────────────────────────┐ │ 각 고급 방법을 사용해야 하는 경우 │ │ │ │ 그룹별 평균/최빈값: │ │ → 결측성이 그룹 열에 조건화된 MAR인 경우 │ │ → 예: age_group별 평균을 사용하여 소득 NaN 채우기 │ │ → 전역 평균보다 더 현실적 │ │ │ │ KNN 대체기 (k=5 기본값): │ │ → 상관된 수치 열이 여러 개 존재하는 경우 │ │ → k개의 가장 가까운 완전한 행을 찾아 값의 평균을 냄 │ │ → 대규모 데이터셋에서는 느림 │ │ │ │ MICE / IterativeImputer: │ │ → 가장 강력함 - 다른 모든 열을 사용하여 각 열을 모델링 │ │ → 복잡한 다변량 관계를 가진 MAR에 가장 적합 │ │ → 재현성을 위해 max_iter=10, random_state=42 사용 │ │ → 계산 비용이 가장 높음 │ │ │ │ 결측 표시자 플래그: │ │ → MNAR 열에는 항상 추가 │ │ → 30%+ 결측 열에는 선택이지만 권장됨 │ │ → 생성: col_was_missing = NaN이면 1, 그렇지 않으면 0 │ │ → 모델에 "이 값은 없었음"을 신호로 전달 │ └────────────────────────────────────────────────────────────┘ ``` --- ### 규칙 4 - ML 모델 호환성 ``` ┌────────────────────────────────────────────────────────────┐ │ 트리 기반 (XGBoost, LightGBM, CatBoost, RandomForest): │ │ → NaN을 기본적으로 처리할 수 있음 │ │ → 그래도 권장: MNAR에 대한 표시자 플래그 생성 │ │ │ │ 선형 모델 (LogReg, LinearReg, Ridge, Lasso): │ │ → 반드시 대체해야 함 - NaN 허용 오차 0 │ │ │ │ 신경망 / 딥러닝: │ │ → 반드시 대체해야 함 - NaN 허용 오차 없음 │ │ │ │ SVM, KNN 분류기: │ │ → 반드시 대체해야 함 - NaN 허용 오차 없음 │ │ │ │ ⚠️ 모든 모델에 대한 보편적 규칙: │ │ → 먼저 학습/테스트 분할 │ │ → 학습 데이터에만 대체기 적용 │ │ → 학습된 대체기를 사용하여 학습 및 테스트 모두 변환 │ │ → 전체 데이터셋에 적용하지 마십시오 - 데이터 누출 발생 │ └────────────────────────────────────────────────────────────┘ ``` --- ## 4단계 - Python 구현 청사진 ```python from sklearn.pipeline import Pipeline from sklearn.impute import SimpleImputer, KNNImputer from sklearn.experimental import enable_iterative_imputer from sklearn.impute import IterativeImputer from sklearn.model_selection import train_test_split import pandas as pd import numpy as np # ───────────────────────────────────────────────────────────── # 0단계 - DATA() 로드 및 복사 # ───────────────────────────────────────────────────────────── df = DATA().copy() # ───────────────────────────────────────────────────────────── # 1단계 - 위장된 결측값 표준화 # ───────────────────────────────────────────────────────────── DISGUISED_NULLS = ["?", "N/A", "n/a", "unknown", "none", " - ", "-", ""] df.replace(DISGUISED_NULLS, np.nan, inplace=True) # ───────────────────────────────────────────────────────────── # 2단계 - 대상(TARGET)이 누락된 행 삭제 (규칙 0) # ───────────────────────────────────────────────────────────── TARGET_COL = 'your_target_column' # ← 이것을 변경하십시오 df.dropna(subset=[TARGET_COL], axis=0, inplace=True) # ───────────────────────────────────────────────────────────── # 3단계 - 특성과 대상 분리 # ───────────────────────────────────────────────────────────── X = df.drop(columns=[TARGET_COL]) y = df[TARGET_COL] # ───────────────────────────────────────────────────────────── # 4단계 - 대체 전에 학습/테스트 분할 # ───────────────────────────────────────────────────────────── X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42 ) # ───────────────────────────────────────────────────────────── # 5단계 - 열 그룹 정의 (1-2단계 후에 채우십시오) # ───────────────────────────────────────────────────────────── num_cols_symmetric = [] # → 평균 대체 num_cols_skewed = [] # → 중앙값 대체 cat_cols_low_card = [] # → 최빈값 대체 cat_cols_high_card = [] # → 'Unknown' 채우기 knn_cols = [] # → KNN 대체 drop_cols = [] # → 삭제 (>60% 결측 또는 도메인 무관) mnar_cols = [] # → 표시자 플래그 + 대체 # ───────────────────────────────────────────────────────────── # 6단계 - 높은 결측 또는 무관한 열 삭제 # ───────────────────────────────────────────────────────────── X_train = X_train.drop(columns=drop_cols, errors='ignore') X_test = X_test.drop(columns=drop_cols, errors='ignore') # ───────────────────────────────────────────────────────────── # 7단계 - 대체 전에 결측 표시자 플래그 생성 # ───────────────────────────────────────────────────────────── for col in mnar_cols: X_train[f'{col}_was_missing'] = X_train[col].isnull().astype(int) X_test[f'{col}_was_missing'] = X_test[col].isnull().astype(int) # ───────────────────────────────────────────────────────────── # 8단계 - 수치형 대체 # ───────────────────────────────────────────────────────────── if num_cols_symmetric: imp_mean = SimpleImputer(strategy='mean') X_train[num_cols_symmetric] = imp_mean.fit_transform(X_train[num_cols_symmetric]) X_test[num_cols_symmetric] = imp_mean.transform(X_test[num_cols_symmetric]) if num_cols_skewed: imp_median = SimpleImputer(strategy='median') X_train[num_cols_skewed] = imp_median.fit_transform(X_train[num_cols_skewed]) X_test[num_cols_skewed] = imp_median.transform(X_test[num_cols_skewed]) # ───────────────────────────────────────────────────────────── # 9단계 - 범주형 대체 # ───────────────────────────────────────────────────────────── if cat_cols_low_card: imp_mode = SimpleImputer(strategy='most_frequent') X_train[cat_cols_low_card] = imp_mode.fit_transform(X_train[cat_cols_low_card]) X_test[cat_cols_low_card] = imp_mode.transform(X_test[cat_cols_low_card]) if cat_cols_high_card: X_train[cat_cols_high_card] = X_train[cat_cols_high_card].fillna('Unknown') X_test[cat_cols_high_card] = X_test[cat_cols_high_card].fillna('Unknown') # ───────────────────────────────────────────────────────────── # 10단계 - 그룹별 대체 (MAR 패턴) # ───────────────────────────────────────────────────────────── # 예: 'age_group'별 평균을 사용하여 'income' NaN 채우기 # GROUP_COL = 'age_group' # TARGET_IMP_COL = 'income' # group_means = X_train.groupby(GROUP_COL)[TARGET_IMP_COL].mean() # X_train[TARGET_IMP_COL] = X_train[TARGET_IMP_COL].fillna( # X_train[GROUP_COL].map(group_means) # ) # X_test[TARGET_IMP_COL] = X_test[TARGET_IMP_COL].fillna( # X_test[GROUP_COL].map(group_means) # ) # ───────────────────────────────────────────────────────────── # 11단계 - 복잡한 패턴을 위한 KNN 대체 # ───────────────────────────────────────────────────────────── if knn_cols: imp_knn = KNNImputer(n_neighbors=5) X_train[knn_cols] = imp_knn.fit_transform(X_train[knn_cols]) X_test[knn_cols] = imp_knn.transform(X_test[knn_cols]) # ───────────────────────────────────────────────────────────── # 12단계 - MICE / IterativeImputer (가장 강력함, 필요할 때 사용) # ───────────────────────────────────────────────────────────── # imp_iter = IterativeImputer(max_iter=10, random_state=42) # X_train[advanced_cols] = imp_iter.fit_transform(X_train[advanced_cols]) # X_test[advanced_cols] = imp_iter.transform(X_test[advanced_cols]) # ───────────────────────────────────────────────────────────── # 13단계 - 최종 검증 # ───────────────────────────────────────────────────────────── remaining_train = X_train.isnull().sum() remaining_test = X_test.isnull().sum() assert remaining_train.sum() == 0, f"학습 데이터에 아직 결측값이 있습니다:\n{remaining_train[remaining_train > 0]}" assert remaining_test.sum() == 0, f"테스트 데이터에 아직 결측값이 있습니다:\n{remaining_test[remaining_test > 0]}" print("✅ 결측값이 남아 있지 않습니다. DATA()를 ML에 사용할 준비가 되었습니다.") print(f" 학습 형태: {X_train.shape} | 테스트 형태: {X_test.shape}") ``` --- ## 5단계 - 종합 및 결정 보고서 1~4단계를 완료한 후 다음 정확한 보고서를 제공하십시오: ``` ══════════════════════════════════════════════════════════════ 결측값 처리 보고서 ══════════════════════════════════════════════════════════════ 1. 데이터셋 요약 형태 : 총 결측 : 대상 열 : ML 작업 : 모델 유형 : 2. 결측 인벤토리 테이블 | 열 | 결측% | 데이터 유형 | 메커니즘 | 정보 제공? | 처리 | |--------|----------|-------|-----------|--------------|-----------| | ... | ... | ... | ... | ... | ... | 3. 결정 로그 [열]: [선택한 처리 이유] [열]: [선택한 처리 이유] 4. 삭제된 열 [열] - 이유: [예: 72% 결측, 도메인 중요도 낮음] 5. 생성된 표시자 플래그 [col_was_missing] - 이유: [MNAR 의심 / 높은 결측 %] 6. 사용된 대체 방법 [열] → [사용된 전략 + 근거] 7. 경고 및 엣지 케이스 - 도메인 전문가 검토가 필요한 MNAR 열 - 대체 중 이루어진 가정 - 전체 EDA 후 재평가를 위해 플래그된 열 - 발견된 위장된 null 값 (?, N/A, 0 등) 8. 다음 단계 - 대체 후 체크리스트 ☐ 대체 전후 분포 비교 (히스토그램) ☐ 모든 대체기가 학습 데이터에만 적용되었는지 확인 ☐ 대상 열에서 데이터 누출이 없는지 검증 ☐ 대체 후 상관 행렬 재확인 ☐ 분류 작업인 경우 클래스 균형 확인 ☐ 재현성을 위해 모든 변환 문서화 ══════════════════════════════════════════════════════════════ ``` --- ## 제약 조건 및 안전장치 ``` ✅ 항상 해야 할 것: → df.copy()로 작업 - 원본 DATA()를 절대 변경하지 마십시오 → 대상(y)이 누락된 행 삭제 - y를 절대 대체하지 마십시오 → 모든 대체기를 학습 데이터에만 적용 → 이미 적용된 대체기를 사용하여 테스트 변환 (재적용 금지) → 모든 MNAR 열에 대한 표시자 플래그 생성 → 모델에 전달하기 전에 null이 남아 있지 않은지 검증 → 위장된 결측값 확인 (?, N/A, 0, 공백, "unknown") → 명시적 근거와 함께 모든 결정 문서화 ❌ 절대 하지 말 것: → 분포를 먼저 확인하지 않고 맹목적으로 대체 → 도메인 중요성을 확인하지 않고 열 삭제 → 학습/테스트 분할 전에 전체 데이터셋에 대체기 적용 (데이터 누출) → MNAR 열 무시 - 모델에 심각한 편향을 초래할 수 있음 → 모든 열에 동일한 전략 적용 → NaN이 결측값이 취할 수 있는 유일한 형태라고 가정 ``` --- ## 빠른 참조 - 전략 치트 시트 | 상황 | 전략 | |-----------|----------| | 대상 열(y)에 NaN 있음 | 행 삭제 - 절대 대체하지 마십시오 | | 열 > 60% 결측 | 열 삭제 (또는 표시자 + 전문가 검토) | | 수치형, 대칭 분포 | 평균 대체 | | 수치형, 왜곡된 분포 | 중앙값 대체 | | 수치형, 시계열 | 앞으로 채우기 / 보간 | | 범주형, 낮은 카디널리티 | 최빈값 대체 | | 범주형, 높은 카디널리티 | 'Unknown' 범주로 채우기 | | MNAR 의심 (모든 유형) | 표시자 플래그 + 도메인 검토 | | MAR, 그룹에 조건화됨 | 그룹별 평균/최빈값 | | 복잡한 다변량 패턴 | KNN 대체기 또는 MICE | | 트리 기반 모델 (XGBoost 등) | NaN 허용; 그래도 MNAR 플래그 | | 선형 / NN / SVM | 반드시 대체 - NaN 허용 오차 0 | --- *PROMPT() v1.0 - IBM GEN AI Engineering / Python을 사용한 데이터 분석용으로 제작됨* *프레임워크: 사고 사슬(CoT) + 사고 트리(ToT)* *참고: Coursera - Python에서 결측값 처리*