다중 사이트 데이터 기반 그룹‑강건 마르코프 의사결정 프로세스 학습

초록

본 논문은 여러 병원 등 이질적인 사이트에서 수집된 오프라인 데이터를 활용해, 공통 특징 맵을 공유하면서도 사이트별 전이와 보상이 선형적으로 변동하는 그룹‑선형 강건 MDP 모델을 제안한다. 특징별(d‑rectangular) 불확실성 집합을 도입해 베일먼 연산을 유지하면서 계산 효율성을 확보하고, 퍼시미스틱 가치 반복(pessimistic value iteration) 기반의 오프라인 알고리즘을 설계한다. 사이트별 리지 회귀, 특징별 최악 경우 집계, 설계 행렬 대각선 기반의 데이터‑종속 패널티를 결합하고, 유사 사이트를 클러스터링해 샘플 효율성을 높이는 확장도 제시한다. 강건 부분 커버리지 가정 하에 정책의 서브옵티멀리티 상한을 이론적으로 증명한다.

상세 분석

이 연구는 다중 사이트 환경에서 발생하는 데이터 이질성을 통계적·강건 제어 관점에서 동시에 해결하려는 시도이다. 먼저 모든 사이트가 동일한 피처 맵 φ: S×A → ℝᵈ 를 공유한다는 가정 하에, 각 사이트 k의 전이 커널 Pₖ와 기대 보상 rₖ를 φ와 선형 결합된 사이트‑특정 파라미터(θₖ, μₖ) 로 표현한다. 이는 기존 선형 MDP 모델을 일반화하면서도 파라미터 차원을 크게 늘리지 않아 샘플 복잡도와 계산 비용을 억제한다. 핵심 기여는 ‘특징별(d‑rectangular) 불확실성 집합’이다. 전통적인 (s,a)‑직사각형 혹은 s‑직사각형 집합은 상태·행동 차원에서 독립적인 최악 상황을 가정해 과도하게 보수적이지만, 여기서는 각 피처 차원 i마다 사이트 혼합 가중치 α_{h,i}∈Δ^{K‑1} 를 독립적으로 선택하도록 허용한다. 이렇게 하면 불확실성 집합이 피처 차원별로 직사각형 구조를 유지하면서도 사이트 간 이질성을 충분히 반영한다. 수학적으로는 Q‑함수의 베일먼 연산이 φ(s,a)ᵀ w_h 형태로 유지되며, w_h,i = min_k {θ_{k,h,i}+⟨μ_{k,h,i}, V_{h+1}⟩} 로 간단히 계산된다. 이는 기존 선형 MDP에서의 베일먼 연산과 동일한 형태이지만, 최솟값을 취함으로써 최악 사이트를 자동으로 선택한다는 점이 차별점이다.

알고리즘 측면에서는 퍼시미스틱 가치 반복을 채택한다. 각 단계에서 (i) 사이트별 리지 회귀를 통해 베일먼 목표값(보상+다음 가치)의 추정치를 얻고, (ii) 피처별 최악 사이트를 선택해 행별(min‑k) 집계를 수행한다. 여기서 중요한 점은 설계 행렬 Σ_{k,h} = ∑{τ} φ(s{k,τ,h},a_{k,τ,h}) φ(s_{k,τ,h},a_{k,τ,h})ᵀ 의 역행렬 대각선 요소를 이용해 데이터‑종속 패널티 β · diag(Σ_{k,h}^{‑1}) 를 추가함으로써, 샘플이 부족한 피처·사이트 조합에 대해 보수적인 값을 부여한다. 이는 기존 퍼시미스틱 방법이 전역적인 불확실성 버운드를 사용한 것과 달리, 지역적인 통계 정보를 활용해 과도한 보수성을 완화한다.

또한, 사전 지식에 기반한 사이트 클러스터링을 도입해 유사한 사이트들을 하나의 그룹으로 묶어 공동 회귀를 수행한다. 클러스터 내에서는 동일한 α_{h,i} 를 공유하도록 설계해, 샘플 효율성을 크게 향상시킨다. 이 과정은 사전 정의된 클러스터링 혹은 데이터‑드리븐 메트릭에 의해 자동화될 수 있다.

이론적 분석에서는 ‘강건 부분 커버리지(Robust Partial Coverage)’ 가정을 도입한다. 이는 모든 (s,a) 쌍에 대해 최소 하나의 사이트가 충분한 방문 빈도를 보장한다는 의미이며, 이를 통해 베일먼 연산의 편향을 제한한다. 그 결과, 제안 알고리즘이 출력하는 정책 π̂의 서브옵티멀리티는 O(√(d · log N / N)) 형태의 상한을 갖는다(여기서 N은 전체 샘플 수). 이 상한은 기존 다중 소스 오프라인 RL 방법보다 더 나은 차원 의존성을 보이며, 특히 사이트 간 이질성이 클 때 유리함을 보인다.

전체적으로, 이 논문은 (1) 피처‑레벨 직사각형 불확실성 집합을 통한 강건성 확보, (2) 데이터‑종속 퍼시미스틱 패널티를 통한 보수성 조절, (3) 클러스터 기반 샘플 효율성 향상이라는 세 축을 결합해, 다중 사이트 오프라인 강화학습 문제에 대한 실용적이면서도 이론적으로 타당한 해결책을 제시한다.