이질적 데이터에서 개인 맞춤 오프라인 강화학습을 위한 최적 정책 학습

초록

본 논문은 이질적인 개체들로 구성된 시간‑고정 마코프 의사결정 과정을 대상으로, 개별 잠재 변수 모델과 페널티 기반 비관적 정책 학습(P4L) 알고리즘을 제안한다. 부분 커버리지 가정 하에 평균 후회(regret)를 √(전이 수) 수준으로 제한하는 이론적 보장을 제공하며, 시뮬레이션 및 실제 의료 데이터에서 기존 방법보다 우수한 성능을 입증한다.

상세 분석

이 연구는 오프라인 강화학습(Offline RL)에서 흔히 간과되는 개체 간 이질성 문제를 체계적으로 해결한다. 기존 방법들은 단일 에피소드 혹은 동질적인 배치 데이터를 전제로 전체 인구에 대해 하나의 최적 정책만을 학습한다. 그러나 실제 의료·모바일 헬스 등에서는 개인별 상태 전이와 보상이 크게 다르며, 일부 소수 집단은 데이터가 부족해 기존 방법으로는 편향된 정책이 도출될 위험이 있다. 논문은 이러한 문제를 “시간‑고정 이질적 MDP”라는 프레임워크로 정의하고, 각 개체 i에 대해 전이 커널 P_i와 보상 함수 r_i가 다름을 허용한다. 핵심 아이디어는 개별 잠재 변수 z_i를 도입해 Q‑함수와 정책의 공유 구조를 모델링함으로써, 데이터가 부족한 개체도 다른 개체와의 정보 공유를 통해 효율적으로 추정할 수 있게 하는 것이다.

잠재 변수 모델은 다중 중심(Multi‑centroid) 페널티를 적용해 유사한 잠재 변수를 가진 개체들을 자동으로 군집화한다. 이는 “그룹 간 정보 손실 최소화”와 “그룹 내 데이터 활용 극대화”라는 두 목표를 동시에 달성한다. 정책 학습 단계에서는 비관적(pessimistic) 접근을 채택한다. 즉, Q‑함수 후보 집합을 정의하고, 그 중 가장 낮은 값을 갖는 Q‑함수를 사용해 정책을 평가함으로써 행동 정책과 목표 정책 사이의 분포 이동(distributional shift)으로 인한 과대평가 위험을 방지한다. 이때 필요한 불확실성 수준은 부분 커버리지 가정—전체 배치 데이터의 평균 방문 확률이 각 개별 목표 정책이 유도하는 방문 확률을 충분히 커버한다는 가정—만을 요구한다. 이는 기존의 “전면 커버리지”보다 훨씬 완화된 조건이며, 실제 데이터에서 행동 정책이 제한적이더라도 다른 개체의 데이터를 활용해 충분히 학습할 수 있음을 의미한다.

이론적으로 저자들은 P4L 알고리즘이 평균 후회(regret)를 O(√N_T) (N_T는 전체 전이 수) 수준으로 제한한다는 상한을 증명한다. 또한, 라그랑지안 이중문제(Lagrangian dual) 접근을 통해 계산 복잡성을 완화하고, Q‑함수 공간이 볼록(convex)하다는 추가 가정 하에 동일한 후회 상한을 유지함을 보인다. 실험에서는 시뮬레이션 환경과 실제 심장병 환자 데이터에 적용해, 기존의 그룹별 정책 학습, 메타‑RL, 그리고 개별 Q‑함수 추정 방법에 비해 정책 가치와 후회 측면에서 현저히 우수함을 확인한다. 특히, 데이터가 적은 소수 집단에 대해 기존 방법이 크게 성능 저하를 보이는 반면, P4L은 잠재 변수 공유와 비관적 보정 덕분에 안정적인 정책을 제공한다.

전반적으로 이 논문은 (1) 이질적 오프라인 RL 문제 정의, (2) 잠재 변수 기반 공유 구조와 다중 중심 페널티 설계, (3) 비관적 정책 평가와 부분 커버리지 가정 도입, (4) 강력한 이론적 후회 분석, (5) 실증적 검증이라는 다섯 축을 통해 개인 맞춤 정책 학습 분야에 새로운 패러다임을 제시한다.