인과 추론은 데이터로부터 인과관계에 대한 엄밀한 결론을 도출하는 데 초점을 맞춘 통계학 및 데이터 과학의 한 분야로, 상관관계와 인과관계를 구별한다. 이는 "다른 모든 조건을 일정하게 유지할 때 X를 변경하면 어떤 일이 일어날까?"라는 형태의 질문에 답하기 위한 공식적인 언어와 도구 세트를 제공한다. 이는 패턴과 연관성을 찾되 반드시 근본적인 메커니즘을 이해하지는 않는 기술적 또는 예측적 모델링과 근본적으로 다르다. 이 분야는 철학, 통계학, 역학에 깊은 뿌리를 두고 있지만, 현대 기계 학습과 공중 보건, 경제, 기술 정책과 같은 영역의 의사 결정에서 점점 더 중심적인 역할을 하게 되었다.
인과 추론의 기초 질문은 반사실적 질문, 즉 개인이나 시스템이 다른 치료나 노출을 받았다면 어떻게 되었을까 하는 것이다. 반사실은 직접 관찰되지 않기 때문에 인과 추론 방법은 이를 근사하기 위해 가정, 연구 설계, 통계 기법에 의존한다. 무작위 실험(무작위 대조 시험)은 무작위 배정이 치료와 다른 교란 요인 간의 연관성을 끊기 때문에 최적의 표준으로 간주된다. 무작위화가 불가능하거나 비윤리적인 관찰 연구에서는 성향 점수 매칭, 도구 변수, 이중 차분법과 같은 기법을 사용하여 교란을 통제하고 인과 효과를 추정한다. Judea Pearl과 다른 학자들이 개척한 프레임워크(do-연산 및 인과 그래프 포함)는 인과 가정을 검증 가능한 통계적 함의로 변환하는 공식적인 방법을 제공한다.
역사적 발전
현대 인과 추론의 시대는 20세기 통계학자와 역학자들의 연구로 시작되었다. 1923년 Jerzy Neyman은 무작위 실험을 위한 잠재 결과 프레임워크를 도입했으며, 이후 1970년대 Donald Rubin이 이를 Rubin 인과 모델로 확장했다. 이 프레임워크는 인과 효과를 서로 다른 치료 하의 잠재 결과 비교로 공식화한다. 1980년대에는 James Robins가 시간에 따라 변하는 치료를 포함한 종단 데이터에서 인과 효과를 추정하기 위한 g-방법을 개발했다. 반사실적 접근법은 1990년대에 그래픽 모델과 인과 추론을 위한 완전한 연산을 도입하여 관찰 데이터에서 인과 효과가 식별 가능한지 여부를 연구자가 결정할 수 있게 한 Judea Pearl의 연구를 통해 더욱 주목을 받았다.
핵심 개념 및 방법
핵심 개념은 인과 다이어그램, 즉 어떤 변수가 어떤 다른 변수를 유발하는지에 대한 가정을 인코딩하는 방향성 비순환 그래프(DAG)이다. 백도어 기준과 같은 그래픽 기준을 사용하여 편향 없이 인과 효과를 추정하기 위해 조정할 변수 집합을 식별할 수 있다. 반면 잠재 결과 프레임워크는 비혼란성(측정되지 않은 교란 요인이 없음) 및 양성성(모든 개인이 어떤 치료를 받을 확률이 0이 아님)과 같은 가정에 의존한다. 주요 방법에는 치료군과 대조군을 균형화하는 성향 점수 방법, 치료에는 영향을 미치지만 결과에는 직접 영향을 미치지 않는 변수를 활용하는 도구 변수 분석, 그리고 무작위화를 모방하기 위해 절단점을 사용하는 회귀 불연속 설계가 포함된다. 정책 변화나 자연 재해와 같은 자연 실험도 준실험적 수단을 제공한다.
인공지능에서의 응용
인공지능 및 기계 학습에서 인과 추론은 모델을 더 견고하고 실행 가능하게 만들기 위해 점점 더 많이 사용된다. 상관관계에 기반한 예측 모델은 분포 변화나 의사 결정에 사용될 때 종종 실패하는데, 이는 허위 연관성을 포착할 수 있기 때문이다. 인과 방법은 새로운 환경에 일반화되는 불변 메커니즘을 학습하는 것을 목표로 한다. 예를 들어, 심층 학습에서 연구자들은 의료 이미지가 다른 질병 조건에서 어떻게 보일지와 같은 반사실적 질문에 답하기 위해 인과 생성 모델을 구축했다. 강화 학습에서 인과 추론은 신용 할당 및 정책 외 평가에 도움이 된다. 구글 딥마인드 및 오픈AI와 같은 기업은 데이터에서 독립적인 변동 요인을 분리하기 위해 인과 표현 학습을 탐구해 왔다.
도전 과제 및 현재 연구
주요 도전 과제는 인과 가정의 검증이다. 관찰 데이터에서는 측정되지 않은 교란이 완전히 배제될 수 없다. 민감도 분석은 가정 위반에 대해 결론이 얼마나 견고한지 정량화하는 데 도움이 된다. 또 다른 최전선은 인과 추론과 대규모 언어 모델 및 트랜스포머 기반 시스템의 통합이다. 이러한 모델은 텍스트를 생성하고 인과관계에 대해 추론할 수 있지만, 그 출력은 본질적으로 인과적이지 않다. 이는 패턴 연관 기계이다. 연구자들은 불변 표현을 장려하는 보조 목표를 사용하는 등 모델 아키텍처와 훈련에 인과 제약을 통합하는 방법을 조사하고 있다. 생성형 AI의 부상은 모델이 그럴듯하지만 부정확한 인과 진술을 생성하는 인과 환각에 대한 우려도 제기했다.
최근 발전 및 향후 방향
2020년대에 인과 추론은 기계 학습 커뮤니티에서 큰 관심을 받았으며, CausalML과 같은 전용 컨퍼런스와 워크숍이 개최되고 있다. 충실성 및 비순환성과 같은 가정을 기계 학습과 결합하는 방법을 사용하여 데이터에서 인과 그래프를 자동으로 학습하는 작업인 인과 발견에 대한 활발한 연구가 진행 중이다. 심층 학습과 구조적 인과 모델의 결합은 시뮬레이션 및 의료 분야에서 유망한 결과를 보여주었다. Python의 인과 추론 프레임워크(예: DoWhy, EconML)와 같은 도구는 이러한 방법을 실무자에게 더 쉽게 접근할 수 있게 만들었다. 앞으로 인과 추론은 특히 의학, 금융, 공공 정책의 고위험 결정에서 신뢰할 수 있는 AI 시스템을 구축하는 데 핵심적인 역할을 할 가능성이 높다. 인공지능 시스템이 사회에 더욱 통합됨에 따라 "만약" 질문에 안정적으로 답할 수 있는 능력은 책임성과 안전성에 중요할 것이다.