데이터 기반 정책 평가의 승자 저주 난민 매칭 사례로 본 허위 기대

초록

본 논문은 모델 기반 정책 평가가 승자 저주(winner’s curse)로 인해 과대된 성과를 보고한다는 점을 이론과 시뮬레이션으로 입증한다. 관리과학에 발표된 55편 중 53편이 사용한 모델‑기반 방법은 J1‑J4(정확성, 무작위 처리, 모델 명시성, 샘플 분할) 정당화에도 불구하고 허위 이득을 생성한다. 난민 매칭 환경을 재현한 합성 실험에서 실제 효과는 0이지만 모델 기반 평가는 60% 수준의 개선을 지속적으로 보고한다.

상세 분석

논문은 먼저 정책 평가의 핵심 목표를 “학습된 정책이 실제로 약속된 이득을 달성하는가”를 검증하는 것으로 정의한다. 이를 위해 두 가지 접근법, 즉 모델‑프리(IPW)와 모델‑베이스드 방법을 대비한다. IPW는 무작위 처리와 충분한 지원이 확보될 때 무편향 추정이 가능하지만, 행동 공간이 크고 공변량이 고차원인 실무 상황에서는 가중치 분산이 폭발적으로 커져 실용성이 떨어진다. 이러한 한계 때문에 많은 연구가 모델‑베이스드 접근을 선택한다.

그러나 모델‑베이스드 방법은 동일한 추정 모델을 정책 최적화와 평가에 동시에 사용함으로써 “승자 저주”를 초래한다. 최적화 단계는 추정 오차를 이용해 실제보다 높은 기대값을 가진 행동을 선택하고, 평가 단계는 동일한 오차를 보정 없이 그대로 사용해 과대된 성과를 보고한다. 저자는 이 현상이 J1(정확·안정·보정), J2(무작위 처리), J3(모델 명시성), J4(샘플 분할)와 같은 일반적인 정당화와 무관하게 발생함을 두 가지 이론적 예시로 증명한다.

첫 번째 예시는 모델이 완전히 잘못 지정된 경우이다. 설사 학습 데이터에서 높은 예측 정확도와 안정성을 보이더라도, 실제 데이터 생성 과정과 불일치하면 추정된 반사실 결과는 체계적으로 양의 편향을 갖는다. 저자는 선형 모델이 비선형 구조를 근사하는 상황을 들어, J1·J2·J4가 모두 충족돼도 정책 이득이 무한히 크게 과대 추정될 수 있음을 보여준다.

두 번째 예시는 비파라메트릭 모델(랜덤 포레스트, GBM 등)이라 할지라도 정규화(regularization)로 인한 편향이 존재한다는 점이다. 정규화는 훈련 분포에서는 작은 편향을 유지하지만, 정책에 의해 유도된 새로운 분포에서는 편향이 증폭된다. 저자는 릿지 회귀를 이용한 구체적 구성으로, J1·J2·J3·J4가 모두 만족되는 상황에서도 정책 이득이 크게 양의 편향을 보이는 것을 증명한다.

이론적 분석을 뒷받침하기 위해 저자는 난민 매칭 문제를 선택한다. 실제 연구(Bansak et al., 2018; Ahani et al., 2021)에서 제시된 데이터와 유사하게 합성 환경을 설계했으며, 정책이 무작위 배정보다 절대적으로 우수할 수 없도록 설계하였다. 그럼에도 불구하고, 원 논문에서 사용된 모델‑베이스드 평가 파이프라인을 그대로 적용하면 평균 60%에 달하는 고정된 고용 향상 효과를 보고한다. 이는 기존 문헌에서 보고된 22%‑75% 수준과 일치한다. 부트스트랩을 이용한 변형 평가 역시 동일한 허위 이득을 지속적으로 나타냈다.

결과적으로, 승자 저주는 모델 정확성, 무작위 처리, 모델 명시성, 샘플 분할이라는 전통적 정당화와 무관하게 발생한다는 강력한 증거를 제공한다. 이는 현재 관리과학 분야에서 정책 평가에 널리 사용되는 모델‑베이스드 접근이 근본적으로 신뢰할 수 없음을 시사한다. 저자는 보다 견고한 정책 평가를 위해 IPW 기반 방법의 변형, 정책 클래스 제한, 보조 데이터 활용, 통계적 유의성 목표 학습 등 새로운 연구 방향을 제시한다.