제품 출시 데이터를 활용한 인과 추정 방법 재평가

초록

본 논문은 마이크로소프트의 신기능 롤아웃 실험과 동일 기간에 자발적 채택이 이루어진 관측 데이터를 이용해, 최신 인과 머신러닝 기법들의 실제 성능을 검증한다. 평균 처리 효과(ATE)와 조건부 평균 처리 효과(CATE)를 추정하면서, 이중 강건(doubly robust) 추정기와 하이퍼파라미터 튜닝, 트리밍, 모델 평균화 등 베스트 프랙티스가 결과 정확도에 미치는 영향을 상세히 분석한다. 연속형 성과 지표에서는 적절히 설계된 방법으로 실험 기반 베이스라인을 재현했으나, 이진 지표에서는 여전히 편향이 남아 선택 편향을 완전히 제거하지 못함을 보여준다.

상세 분석

이 연구는 인과 추정 방법론의 실증적 검증을 위해 두 개의 거의 동일한 데이터셋을 활용한다. 첫 번째는 마이크로소프트가 의도적으로 무작위 할당한 실험군이며, 두 번째는 동일한 기간에 사용자가 자발적으로 기능을 켜거나 끈 관측군이다. 두 샘플 모두 장치 사양, 사용자 행동 패턴, 지역 변수 등 200여 개에 달하는 고차원 공변량을 포함하고 있어, 전통적인 베이스라인(예: 라론데 1986)보다 공변량 겹침(overlap)이 훨씬 우수하다.

논문은 ATE와 ATT, 그리고 X에 조건부로 정의되는 CATE를 목표 추정량으로 설정하고, 인과 추정에 필수적인 ‘비혼동성(unconfoundedness)’과 ‘오버랩(overlap)’ 가정을 명시한다. 특히 오버랩 검증을 위해 Crump et al. (2009)의 최적 트리밍 규칙을 적용해, 치료 확률이 극단값에 가까운 관측치를 제외하고 추정의 편향-분산 균형을 최적화한다.

방법론적으로는 (1) 전통적인 선형 회귀와 매칭, (2) 머신러닝 기반의 Propensity Score 모델(랜덤 포레스트, LASSO, Gradient Boosting 등), (3) 이중 강건 추정기(DR)와 Targeted Maximum Likelihood Estimation(TMLE) 등을 비교한다. 핵심은 DR/TMLE가 ‘예측 모델’과 ‘처리 모델’ 양쪽에 유연한 머신러닝을 적용함으로써, 어느 한쪽이 잘못 지정돼도 일관된 추정치를 제공한다는 점이다. 그러나 저자는 하이퍼파라미터 튜닝을 무시하고 단순히 전체 데이터를 사용해 모델을 학습하면, 과적합(overfitting)으로 인해 DR 추정치가 무조건적인 평균 차이와 거의 동일한 편향을 보인다고 지적한다. 따라서 샘플 스플리팅을 통한 교차 검증 및 아웃‑오브‑샘플 성능 평가가 필수적이다.

연속형 성과 지표에 대해서는, 최적 트리밍 후 DR 추정기가 실험군에서 관측된 ATE(≈0.12)의 95% 신뢰구간을 정확히 재현한다. 이는 공변량이 충분히 포괄적이며, 비혼동성 가정이 크게 위배되지 않았음을 의미한다. 반면 이진 성과 지표에서는 DR 추정치가 실험 베이스라인(−0.43)보다 과대 추정(−0.54)되는 현상이 지속된다. 저자는 이는 아직 측정되지 않은 중요한 공변량(예: 사용자 만족도, 네트워크 환경 등)이 존재하거나, 비선형 상호작용이 충분히 모델링되지 않았기 때문이라고 해석한다.

민감도 분석에서는 Chernozhukov et al. (2022)의 ‘Rosenbaum bounds’를 적용해, 관측되지 않은 혼동변수가 현재 추정된 효과를 0으로 만들려면 비현실적으로 큰 효과를 가져야 함을 확인한다. 따라서 효과의 존재 자체는 강하게 지지되지만, 정확한 크기 추정에는 한계가 남는다. 또한 DR‑score를 활용한 CATE 검증에서는 이진 지표에서 이질성이 존재함을 발견했으며, 사용 빈도가 높은 장치일수록 부정적 효과가 크게 나타난다. 이는 정책 입안 시 사용자 세분화가 필요함을 시사한다.

전반적으로 논문은 (1) 고차원 공변량을 충분히 활용하고, (2) 트리밍·샘플 스플리팅·모델 평균화를 적용한 이중 강건 추정기가 관측 데이터에서도 실험 수준의 정확도를 달성할 수 있음을, (3) 그러나 비혼동성 가정의 검증이 어려운 이진 결과에서는 여전히 편향 위험이 존재함을 강조한다. 이러한 실증적 교훈은 최신 인과 머신러닝 기법을 실제 비즈니스·정책 현장에 적용할 때, 모델링 세부사항과 데이터 전처리 단계가 결과 신뢰도에 결정적 영향을 미친다는 중요한 메시지를 제공한다.