동적 치료 전략을 위한 비관적 모델 기반 정책 학습 POLAR

초록

POLAR는 오프라인 데이터에서 전이 모델을 추정하고, 각 히스토리‑액션 쌍에 대한 불확실성을 정량화한 뒤, 불확실성이 큰 행동에 벌점을 부여하는 비관적 보상 함수를 구성한다. 수정된 모델과 액터‑크리틱 구조를 이용해 정책을 반복적으로 업데이트하며, 샘플 수와 단계 수에 대한 유한표본 하위 최적성 경계와 계산 복잡도 보장을 제공한다. 실험 결과는 합성 데이터와 MIMIC‑III 데이터셋에서 기존 최첨단 방법들을 능가함을 보여준다.

상세 분석

본 논문은 동적 치료 레짐(DTR) 최적화를 위한 오프라인 강화학습 문제를 비관적(pessimistic) 접근법으로 재정의한다. 기존 통계적 DTR 방법이 요구하는 강한 양성(positivity) 가정은 실제 의료 데이터에서 흔히 위배되는데, 이는 특정 히스토리‑액션 조합이 관측되지 않아 정책 학습이 불안정해지는 원인이다. POLAR는 이러한 부분 커버리지(partial coverage) 문제를 모델 기반 전이 추정과 불확실성 정량화(uncertainty quantification)를 통해 완화한다. 구체적으로, 오프라인 데이터 D로부터 최대우도추정(MLE) 혹은 비선형 회귀 등으로 전이 모델 (\hat P_k)를 학습하고, 각 (h_k, a_k) 쌍에 대해 L1 거리 상한 (\Gamma_k(h_k,a_k))를 제공하는 불확실성 측정자를 정의한다. 이때 (\Gamma_k)는 선형 전이 모델에서는 리지 정규화 행렬 (\Lambda_{k,n}^{-1})에 기반한 형태로, 가우시안 프로세스 모델에서는 커버링 수와 노이즈 분산을 이용한 형태로 구체화된다.

불확실성 정량화가 완료되면, 보상 함수에 (\epsilon_{c,k}\Gamma_k)라는 비관적 패널티를 삽입한다. 즉, 수정된 보상 ( \tilde r_k = \hat r_k - \epsilon_{c,k}\Gamma_k)는 추정 오차가 큰 영역을 자동으로 억제한다. 이렇게 정의된 수정 모델 (\tilde{\mathcal M} = (\hat P, \tilde r))는 실제 환경과의 차이를 보수적으로 반영하므로, 정책이 학습 과정에서 데이터에 과도하게 적합(overfit)되는 위험을 감소시킨다.

정책 파라미터화는 소프트맥스 형태의 액터 (\pi_k(a|h,\theta_k) = \exp(f_k(\theta_k,h,a))/\sum_{a’}\exp(f_k(\theta_k,h,a’))) 로 두고, 크리틱은 현재 정책 하에서 수정 모델 기반 Q‑함수 (Q^{\pi}k(h,a)) 를 추정한다. 알고리즘 1은 매 반복마다 (1) 크리틱을 통해 (\tilde Q_k^{(t)}) 를 계산하고, (2) 액터 파라미터 (\theta_k) 를 (\theta_k^{(t+1)} = \arg\min{\theta} \mathbb{E}_{h\sim\text{unif},a\sim\text{unif}}