연속시간 강화학습 기반 누적 치료 효과 검정

초록

본 논문은 연속시간 강화학습 프레임워크를 활용해 장기적인 평균 치료 효과(ATE)를 정의하고, 즉시 효과와 지속적인 캐리오버 효과를 동시에 포착하는 검정 방법을 제안한다. 무한히 긴 시간 horizon에서 두 고정 정책(항상 치료 0, 항상 치료 1)의 가치함수 차이를 ATE로 정의하고, 무한소 발생기(L)와 스플라인 기반 미분을 이용해 가치함수를 추정한다. 불규칙하고 다중해상도 관측 데이터를 허용하며, 플러그인 추정량과 샌드위치 분산 추정기를 통해 검정 통계량의 점근적 정규성을 증명한다. OhioT1DM 데이터에 적용해 인슐린 볼루스 투여의 누적 혈당 조절 효과를 실증적으로 확인하였다.

상세 분석

이 연구는 기존의 이산시간 강화학습 기반 치료 효과 검정이 갖는 시간 격자 의존성 및 캐리오버 효과 포착 한계를 극복하기 위해 연속시간 마코프 결정 과정(MDP)을 전제로 한다. 상태공간 S⊂ℝ^d 를 Feller‑Dynkin 과정으로 모델링하고, 무한소 발생기 L을 통해 가치함수 V_a(s) (a∈{0,1}) 가 만족하는 편미분 방정식 E