합성 통제 오해와 실천을 위한 권고

이 연구는 합성 통제(Synthetic Control, SC) 방법이 랜덤화 실험이 불가능한 상황, 특히 한 개 혹은 소수의 처리 단위만 존재할 때 널리 사용되는 이유와 그 적용 과정에서 발생하는 세 가지 주요 오해를 체계적으로 검증한다. 첫 번째 오해는 SC가 구현 선택에 대해 강건하다는 주장이다. 저자는 두 가지 구현 옵션, 즉 변수 가중치(V) 행렬을 결정하는 ‘중첩 최적화(nested)’와 ‘회귀 가중치(regression)’ 방식을 비교하고, Stata와 R 패키지 간 차이를 살펴본다. 시뮬레이션에서는 V를 균등하게 설정하거나 회귀 기반으로 초기화했을 때 사전 평균제곱예측오차(RMSPE)가 크게 달라지고, 추정된 평균 처리 효과(ATT)의 편향과 표준오차도 유의하게 변한다. 또한, 범주형·구성 변수의 기준 범주(reference category)를 어떤 것으로 설정하느냐에 따라 가중치가 달라져 합성 통제의 사전 매칭 품질이 변동한다는 점을 실증한다. 이는 구현 선택이 결과에 민감함을 보여주며, 연구자는 사전 단계에서 다양한 V 설정과 기준 범주 선택을 시험해 보는 것이 필요하다고 제언한다. 두 번째 오해는 “공변량은 불필요하다”는 주장이다. 기존 문헌에서는 사전 결과 시계열이 충분히 일치하면 공변량을 제외해도 된다고 하지만, 저자는 공변량을 포함했을 때 사전 매칭이 개선되고, 특히 처리 효과가 시간에 따라 변하거나 교란 변수가 존재하는 경우 추정 편향이 크게 감소한다는 것을 시뮬레이션으로 입증한다. 공변량이 처리와 결과에 직접적인 영향을 미치는 구조적 DGP(Data Generating Process)에서는 공변량을 제외하면 ATT 추정치가 실제 효과보다 크게 과대 혹은 과소 평가되는 경향이 나타난다. 따라서 공변량 포함 여부는 사전 탐색적 분석을 통해 검증하고, 필요시 사전 매칭에 활용해야 한다. 세 번째 오해는 “사전 예측 오차(RMSPE)만으로 모델을 선택한다”는 점이다. RMSPE는 사전 기간 동안 합성 통제와 실제 처리 단위 간 차이를 측정하는 일반적인 지표이지만, 저자는 사전 기간이 짧거나 데이터 변동성이 클 경우 RMSPE가 낮아도 사후 기간에 큰 예측 오류가 발생할 수 있음을 보여준다. 특히, 사전 매칭이 좋은데도 불구하고 사후 충격이 발생하면 RMSPE만으로는 모델의 적합성을 판단하기 어렵다. 따라서 placebo 테스트, 잔차 분석, 사후 기간에 대한 민감도 검증 등을 병행해야 한다고 강조한다. 연구는 알래스카 영구 기금 배당(Permanent Fund Dividend) 사례를 실증적 기반으로 활용해 시뮬레이션 파라미터를 보정하였다. 이를 통해 실제 정책 평가 상황에서도 위 세 가지 오해가 어떻게 나타날 수 있는지를 구체적으로 보여준다. 최종적으로 저자는 다음과 같은 실천적 권고를 제시한다. 첫째, 가중치 행렬 V와 기준 범주 선택을 다중 설정으로 시험하고, 최적화 결과를 비교한다. 둘째, 공변량 포함 여부를 사전 탐색적으로 검증하고, 필요시 사전 매칭에 활용한다. 셋째, RMSPE 외에도 placebo 테스트, 사후 적합도 검증, 그리고 민감도 분석을 포함한 다중 진단 절차를 수행한다. 이러한 절차를 통해 합성 통제 추정의 신뢰성을 높이고, 정책 결정을 위한 근거를 보다 견고히 할 수 있다.