2017년 ACIC 데이터 분석 챌린지 개요와 결과

초록

본 논문은 2017년 Atlantic Causal Inference Conference(ACIC) 데이터 분석 챌린지에서 사용된 32개의 데이터 생성 과정(DGP)과 8,000개의 시뮬레이션 데이터셋을 상세히 기술한다. 목표는 강한 혼동을 야기하는 타깃 선택(targeted selection) 상황에서 조건부 평균 처리 효과(CATE)를 추정·추론하는 방법들의 정확도를 평가하는 것이다. 논문은 오류 유형(가법·비가법, 독립·군 상관·이분산)과 효과 크기·혼동 강도·노이즈 수준의 고·저 설정을 조합한 8가지 시나리오를 제시하고, 각 시나리오별 데이터 생성 공식, 파일 구조, 평가 지표(RMSE‑CATE, RMSE‑ATT, 커버리지) 등을 설명한다. 또한 21개의 제출 방법에 대한 비교 결과와 주요 발견(예: 95% 명목 커버리지를 달성한 방법이 없으며, propensity score를 활용한 방법이 타깃 선택 상황에서 우수함)을 제시한다.

상세 분석

이 논문은 인과 추론 방법론을 실증적으로 검증하기 위해 설계된 대규모 시뮬레이션 플랫폼을 제공한다. 먼저 32개의 고정된 DGP를 정의하고, 각 DGP마다 250개의 독립 복제본을 생성해 총 8,000개의 데이터셋을 만든 점이 특징이다. 모든 DGP는 강한 가정인 “strong ignorability”(조건부 독립성)와 “no unmeasured treatment moderation”(치료 효과 이질성을 설명하는 미측정 변수가 없음)를 만족하도록 설계되었으며, 이는 실제 정책 평가에서 흔히 가정되는 전제와 일치한다.

오류 구조는 네 가지 유형으로 구분된다. (1) 가법·독립·동일분포, (2) 가법·군 상관, (3) 가법·이분산, (4) 비가법·독립·동일분포. 각 유형 내에서 효과 크기(ξ), 오류 표준편차(η), 선택 강도(κ)의 고·저 설정을 조합해 8가지 경우를 만든다. 예를 들어, ξ=2는 큰 평균 치료 효과, ξ=1/3은 작은 효과를 의미한다. κ=(3,−1)은 강한 타깃 선택을, κ=(0.5,0)은 약한 선택을 나타낸다. 이러한 설계는 실제 의료·사회 정책 데이터에서 관찰되는 “예측된 대조군 결과에 따라 치료가 할당되는” 상황을 모사한다.

데이터 생성 공식은 μ(x), τ(x), π(x) 등으로 구성된다. μ(x)는 기본 반응 함수이며, τ(x)=ξ·(x₃·x₂₄+(x₁₄−1)−(x₁₅−1)) 형태로 covariate와 상호작용한다. 치료 할당 확률 π(x)=1/(1+exp(κ₁·f(x)+κ₂))는 μ(x)와 연관돼 타깃 선택을 구현한다. 오류 항은 경우에 따라 독립 N(0,σ_y²) 혹은 0.9·ε+0.1·ε_{x21} 형태로 군 상관을, σ(x)·σ_y·ε 형태로 이분산을 부여한다. 비가법 오류는 가법 오류에 비선형 변환 Y=13·Φ(˜Y|a,b)−6을 적용해 분포 형태를 크게 바꾸면서도 평균·분산을 유지하도록 a, b를 조정한다.

평가 지표는 세 가지로 구성된다. (1) RMSE‑CATE(PEHE) – 개별 CATE 추정 오차, (2) RMSE‑ATT – 처리된 집단 평균 효과 추정 오차, (3) 커버리지 – 95% 신뢰구간이 실제 효과를 포함하는 비율. 또한 평균 구간 길이도 보고한다. 이러한 다면적 평가는 방법의 정확도와 불확실성 추정 능력을 동시에 검증한다.

제출된 21개의 방법은 선형 모델, Bayesian Additive Regression Trees(BART), Super Learner, TMLE, Gradient Boosting, Random Forest 등 다양한 머신러닝·통계 기법을 포함한다. 결과적으로 대부분의 방법이 명목 95% 커버리지를 달성하지 못했으며, 특히 비가법·군 상관·이분산 상황에서 커버리지가 크게 감소했다. 그러나 propensity score를 회귀에 포함한 BART 변형(방법 8, 9)과 Bayesian Causal Forest(방법 21)은 타깃 선택이 강한 시나리오에서 RMSE‑CATE와 RMSE‑ATT 모두에서 상대적으로 우수한 성능을 보였다. 이는 치료 할당 메커니즘 정보를 모델에 통합하면 강한 선택 편향을 완화할 수 있음을 시사한다.

또한 논문은 향후 연구 방향으로 (1) 비가우시안 오류, (2) 고차원 공변량, (3) “null effect” 상황을 포함한 DGP 확장을 제안한다. 이러한 확장은 현재 챌린지에서 다루지 않은 현실적 복잡성을 반영해 인과 추론 방법의 일반화 가능성을 더욱 검증할 수 있다.

전반적으로 이 연구는 인과 추론 알고리즘을 실험적으로 비교할 수 있는 체계적이고 재현 가능한 벤치마크를 제공함으로써, 정책 평가·의료 연구 등 실무 분야에서 신뢰할 수 있는 방법 선택에 중요한 기준을 제공한다.