네트워크 없이도 스필오버 효과 추정 인과 메시지 패싱 실험 검증

초록

본 연구는 네트워크 구조 정보를 전혀 사용하지 않는 인과 메시지 패싱(CMP) 방법이, 실제 대규모 현장 실험에서 네트워크를 활용한 최신 bipartite 그래프 방법과 거의 동일한 총 처리 효과(TTE)를 추정한다는 것을 실증한다. 두 실험 모두 스필오버가 존재하는 bipartite 환경이며, CMP는 시간에 따른 결과 변화를 이용해 간접 효과를 보정한다. 결과적으로 주요 의사결정 지표에서 방향과 통계적 유의성을 모두 일치시켰으며, 네트워크 데이터가 부족하거나 비용이 많이 드는 상황에서도 CMP가 실용적인 대안이 될 수 있음을 보여준다.

상세 분석

이 논문은 네트워크 간섭이 존재하는 실험 설정에서 전통적인 SUTVA 가정이 깨지는 문제를 다루며, 두 가지 방법론을 직접 비교한다. 첫 번째는 Tan et al. (2025)에서 제안된 bipartite 그래프 기반 네트워크‑aware 접근법으로, 치료 유닛과 연결 유닛 사이의 이분 그래프 구조를 명시적으로 활용한다. 이 방법은 직접 노출 변수(E_Dir)와 간접 노출 변수(E_Ind)를 정의하고, 머신러닝(예: 커널 리지 회귀)으로 결과 함수를 추정한 뒤, 전처리·후처리 평균 차이를 통해 PTTE(Primary Total Treatment Effect)를 계산한다. 핵심 전제는 그래프가 정확히 관측된다는 점이며, 그래프가 누락되거나 오류가 있으면 추정 편향이 발생한다.

두 번째는 인과 메시지 패싱(CMP)으로, 네트워크 토폴로지를 전혀 사용하지 않는다. 대신 시간에 따른 집단 수준 결과 분포 Y_t와 치료 할당 W_t의 변화를 관찰하고, 상태 진화 함수 f_t를 학습한다. 이 함수는 직접 효과와 스필오버 효과를 동시에 포착하도록 설계되었으며, 요약 통계(평균, 고차 모멘트, 상호작용)를 입력 피처로 사용한다. 학습 단계는 감독 학습 형태로, 시계열 데이터에서 Y_{t+1}를 Y_t와 W_{t+1}의 함수로 회귀함으로써 f_t를 추정한다. 이후 전체 치료 시나리오(전부 치료 vs 전부 대조)를 시뮬레이션해 총 처리 효과를 계산한다.

실험 설계는 두 개의 대규모 현장 실험(A: n≈7,000, B: n≈4,000)으로, 모두 서비스 제공자와 고객 사이의 이분 구조를 가진다. 네트워크‑aware 방법은 실제 연결 정보를 이용해 PTTE를 추정했고, CMP는 동일한 데이터에서 시간적 결과만 사용해 TTE를 추정했다. 결과는 다음과 같다. (1) 두 방법 모두 주요 의사결정 지표에서 효과 방향이 일치했으며, CMP는 통계적 유의성도 동일하게 확보했다. (2) 보조 지표들에서는 CMP가 네트워크‑aware 방법과 거의 동일한 크기의 효과 추정치를 제공했지만, 일부 변동성이 큰 지표에서는 신뢰구간이 다소 넓었다. (3) 네트워크 정보를 전혀 사용하지 않은 기본 차이‑평균 추정은 편향된 결과를 보였으며, CMP가 이를 성공적으로 교정했다.

이 논문의 주요 기여는 (i) 실제 현장 데이터를 이용한 CMP와 네트워크‑aware 방법의 직접적인 실증 비교, (ii) 네트워크 데이터가 부재하거나 비용이 높은 상황에서도 시간적 변동성을 활용해 스필오버 효과를 보정할 수 있음을 입증, (iii) CMP가 이론적 보장(시간 불변성 가정) 하에 충분한 시계열 변동성이 있으면 높은 추정 정확도를 달성한다는 점을 실증적으로 확인한 것이다. 한계점으로는 (a) 짧은 실험 기간이나 급격한 외생 충격이 있는 경우 f_t 추정이 불안정할 수 있으며, (b) 현재 구현은 전체 집단 수준의 요약 통계에 의존하므로 개별 유닛 수준의 이질성을 완전히 포착하지 못한다는 점이다. 향후 연구는 (1) 짧은 시계열에서도 강건한 f_t 추정 방법 개발, (2) 부분적인 네트워크 정보와 시간 정보를 결합한 하이브리드 모델, (3) 다양한 도메인(공공 정책, 의료, 온라인 플랫폼)에서의 적용 가능성을 탐색하는 방향으로 진행될 수 있다.