분할‑문 기준: 보조 결과를 이용한 인과 효과 식별 방법

본 논문은 대규모 시계열 데이터에서 인과 효과를 추정할 때, 결과 변수를 두 개의 하위 구성요소로 분리할 수 있는 경우에 적용 가능한 새로운 식별 전략인 ‘분할‑문(split‑door) 기준’을 제시한다. 전통적인 인과 추정 방법인 백도어(back‑door)와 도구변수(instrumental variable) 접근법은 각각 모든 교란 변수를 관측하거나 외생적인 변동을 제공하는 적절한 도구를 찾아야 하는 제약이 있다. 특히 디지털 플랫폼과 같이 복잡한 비실험적 데이터에서는 이러한 가정을 만족시키기 어렵다. 분할‑문 기준은 결과 Y를 X에 의해 직접 영향을 받는 Y_R(‘추천된’ 트래픽)과 X와 무관하게 발생하는 Y_D(‘직접’ 트래픽) 두 부분으로 분리할 수 있다는 전제에 기반한다. 두 부분은 동일한 잠재 교란 U_Y에 의해 동시에 영향을 받으며, 이는 ‘연결성(connectedness)’ 가정으로 명시된다. 즉, U_Y가 Y_R에 영향을 미치면 반드시 Y_D에도 비제로 영향을 미친다. 이 가정은 결과의 두 구성요소가 같은 근본 원인에 의해 발생한다는 도메인 지식이 필요하지만, 온라인 추천 시스템처럼 여러 채널을 통해 동일 제품에 대한 수요가 발생하는 경우 타당하다. 연결성 가정 하에, X와 Y_D가 통계적으로 독립이면 두 변수는 인과적으로도 독립이라는 ‘독립성(Independence)’ 가정을 추가한다. 이는 인과 그래프에서 d‑separation이 성립한다는 의미이며, 우연히 통계적 독립이 발생하는 경우(예: 파라미터 상쇄) 를 배제한다. 두 가정이 동시에 만족될 때, X와 Y_R 사이에 존재하던 백도어 경로가 차단된 것으로 볼 수 있다. 따라서 X→Y_R의 인과 효과는 관측된 X와 Y_R의 조건부 평균 차이 혹은 회귀계수로 직접 추정 가능해진다. 실제 식별 절차는 다음과 같다. 먼저 시계열 데이터를 일정 시간 창(예: 하루, 일주일)으로 구분한다. 각 창마다 X와 Y_D의 독립성을 검정한다. 저자는 피어슨 상관계수, 스피어만 순위 상관, 그리고 비선형 독립성 검정(Kernel‑based HSIC 등)을 활용한다. 통계적 유의수준(예: p<0.05) 이하로 독립성이 확인된 창을 ‘분할‑문 만족’ 샘플로 선정한다. 그런 다음 같은 창에서 X와 Y_R의 평균 차이 혹은 선형/비선형 회귀를 수행해 인과 효과를 추정한다. 이 과정은 자동화가 가능하며, 대규모 로그 데이터에서도 수천 개의 식별 가능한 샘플을 효율적으로 찾아낼 수 있다. 논문은 이 방법을 아마존(Amazon) 추천 시스템에 적용한다. 웹 로그에서 (1) 특정 제품 페이지에 대한 방문 횟수 X, (2) 해당 페이지에서 추천을 클릭해 다른 제품 페이지로 이동한 방문 Y_R, (3) 직접 검색·브라우징을 통해 해당 제품 페이지에 도달한 방문 Y_D를 추출한다. 9개월 동안 약 2,000여 개의 제품‑시간 구간이 X와 Y_D가 독립함을 보였으며, 이 구간들에서 평균 CTR(=Y_R/X)은 전통적인 관측 CTR보다 50~80% 낮게 추정되었다. 이는 기존 연구가 제시한 ‘CTR 과대평가’ 현상을 재확인한다. 논문은 또한 분할‑문 기준의 한계와 적용 범위에 대해 논의한다. 연결성 가정이 위배될 경우(예: 특정 프로모션이 직접 트래픽만을 증가시키는 경우) 식별이 불가능하며, 독립성 검정의 통계적 파워가 낮을 경우(데이터가 희소하거나 변동성이 큰 경우) 충분한 샘플을 찾지 못할 수 있다. 다중 검정에 따른 오류 제어도 필요하다. 그럼에도 불구하고, 보조 결과가 존재하고 원인과 직접 무관한 경로가 명확히 구분될 수 있는 의료(예: 약물 투여와 부작용), 교육(예: 교사 개입과 시험 점수), 광고(예: 노출과 클릭) 등 다양한 분야에서 활용 가능함을 제시한다. 마지막으로 저자들은 R 패키지를 공개하여 연구자들이 손쉽게 분할‑문 기준을 적용할 수 있도록 지원한다. 데이터의 규모와 세분화 수준이 증가함에 따라, 이러한 데이터‑구동형 인과 식별 방법이 점차 표준 도구가 될 것이라는 전망을 제시한다.