동적 임계값 설계에서 비모수 인과 추정

초록

본 논문은 환자 혈당 등 연속적인 측정값을 기준으로 치료 여부를 결정하는 동적 임계값 정책을 비모수적으로 평가하는 방법을 제시한다. 기존의 횡단면 회귀불연속(RD) 분석이 시간에 따른 상태 변화를 반영하지 못하는 문제를 해결하기 위해, 정책 그래디언트와 Q‑함수 개념을 도입하여 “동적 RD 추정량”을 정의하고, 이를 로컬 선형 회귀 기반 추정기로 구현한다. 제안 방법은 가정 하에 일관성과 점근적 정규성을 보이며, 시뮬레이션을 통해 정확성을 확인한다.

상세 분석

이 논문은 전통적인 회귀불연속 설계(RD)가 단일 시점에서만 치료가 할당되는 정적 상황에만 적용 가능하다는 한계를 명확히 짚고, 치료가 여러 시점에 걸쳐 반복적으로 할당되는 동적 시스템에 대한 인과 추론 프레임워크를 구축한다. 핵심 아이디어는 임계값 c 에 의해 정의되는 “정책 π_c”를 강화학습의 정책으로 해석하고, 정책의 기대 복리 V(π_c)와 치료 빈도 V_A(π_c) 사이의 비율을 정책 그래디언트 형태로 표현하는 것이다. 이를 위해 저자는 로버스(1986)의 g‑formula와 마코프 결정 과정(MDP) 구조를 결합해, 각 시점 t 에서의 Q‑함수 Q_{c,t}(s_t,z_t,a_t) 를 정의한다. Q‑함수는 현재 상태와 행동이 미래 복리(할인된 누적 보상)에 미치는 영향을 포괄적으로 요약하므로, 임계값을 미세하게 변화시켰을 때 전체 복리의 미분을 Q‑함수와 실행 변수 Z_t 의 밀도 f_t(·|S_t) 를 이용해 닫힌 형태로 전개할 수 있다.

논문은 네 가지 핵심 가정을 제시한다. 첫째, 데이터는 정책 π_c 하에 i.i.d. 관측 시퀀스로 수집된다(Assumption 1). 둘째, 실행 변수 Z_{i,t} 는 과거 히스토리 S_{i,t} 조건하에 연속적인 밀도를 가지며, 임계값 c 근처에서 양의 값을 유지한다(Assumption 3). 셋째, Q‑함수는 임계값 c 에 대해 연속성을 만족한다(Assumption 4). 넷째, 적절한 적분 가능성 및 경계 조건이 충족된다(논문 본문에서 상세히 기술). 이러한 가정 하에 Theorem 2는 정책 그래디언트 -∂V(π_c)/∂c 를 “동적 RD 추정량” τ_RD = ∂V(π_c)/∂c ÷ ∂V_A(π_c)/∂c 로 정의하고, 이는 임계값을 미세하게 낮출 때 기대 복리와 치료 비율의 비율 변화량으로 해석된다.

추정 단계에서는 전통적인 로컬 선형 회귀를 시간‑별로 적용한다. 구체적으로, 각 시점 t 에 대해 임계값 c 양옆의 관측값을 이용해 μ_a^{(t)}(z)=E