Wasserstein 정규화 MDP의 모델 근사 강건성, 모델 학습 및 샘플 복잡도

초록

본 논문은 Wasserstein‑1 거리로 정의된 모델 근사 오차가 이산 시간 확률 최적 제어의 할인 비용 및 평균 비용 기준에 미치는 영향을 정량화한다. 근사 모델에서 도출된 최적 정책을 실제 시스템에 적용했을 때 발생하는 성능 손실을 상한으로 제시하고, 이를 이용해 경험적 전이 커널 및 외란 분포 학습의 샘플 복잡도와 수렴 속도를 도출한다.

상세 분석

논문은 먼저 MDP의 기본 설정을 명시하고, 비용 함수와 전이 커널이 연속·유계이며 상태·행동 공간이 폴리시(Polish)와 콤팩트인 경우에 최적 가치 함수가 존재함을 재확인한다. 핵심 기여는 두 가지 성능 기준(할인 비용 Jβ와 평균 비용 J∞)에 대해 모델 근사에 대한 Lipschitz 연속성을 증명한 점이다. 구체적으로, 전이 커널 T와 근사 커널 Ť 사이의 Wasserstein‑1 거리 W1(T,Ť)와 비용 함수 차이 ‖c−ĉ‖∞를 이용해
‖Jβ(c,T,γ̂)−Jβ*(c,T)‖∞ ≤ Lβ·(‖c−ĉ‖∞ + K·W1(T,Ť))
와 같은 형태의 상한을 얻는다. 여기서 Lβ는 할인 인자 β에 의존하는 상수이며, K는 전이 커널의 Lipschitz 상수이다. 평균 비용 경우에는 두 가지 접근법을 제시한다. 첫 번째는 마이너라이제이션(minorization) 조건을 가정해 체인에 대한 재생성성을 확보하고, 두 번째는 할인 비용 결과를 β→1 한계로 보내는 vanishing‑discount 기법을 사용한다. 두 방법 모두 동일한 형태의 Lipschitz 연속성을 제공하지만, 마이너라이제이션은 추가적인 정규화 가정을 필요로 한다.

다음으로, 이러한 연속성 결과를 바탕으로 근사 정책을 실제 모델에 적용했을 때의 ‘강건성 오류(robustness error)’를 정의하고, 이를 다시 Wasserstein 거리와 비용 차이의 함수로 상한한다. 이는 정책 설계 단계에서 근사 모델의 정확도 요구 수준을 정량적으로 판단할 수 있게 해준다.

통계적 측면에서는 두 가지 데이터 수집 시나리오를 고려한다. (a) 제어된 샘플 경로를 따라 수집된 데이터와 (b) 전이 커널 시뮬레이터를 통한 i.i.d. 샘플이다. 각각에 대해 경험적 전이 커널 T̂N과 비용 추정 ĉN을 구성하고, 위에서 얻은 강건성 상한을 기대값에 적용해 샘플 복잡도(즉, N에 대한 수렴 속도)를 도출한다. 특히, 상태 공간을 유한히 양자화(quantization)하고 Wasserstein‑Lipschitz 전이 커널을 가정함으로써, N이 증가함에 따라 강건성 오류가 O(N^{-1/d})(d는 상태 차원) 혹은 더 빠른 파라메트릭 속도(O(N^{-1/2}))로 감소함을 증명한다.

마지막으로 외란(노이즈) 분포 학습 문제를 별도 섹션에서 다룬다. 시스템이 X_{t+1}=f(X_t,U_t,W_t) 형태일 때, 실제 외란 분포 μ와 근사 분포 ν 사이의 Wasserstein‑1 거리를 이용해 동일한 강건성 상한을 얻는다. 여기서는 μ를 직접 샘플링해 경험적 분포 ν̂_N을 만들 경우, 샘플 복잡도는 외란의 균등 정규성 가정 하에 O(N^{-1/2})까지 향상될 수 있음을 보여준다. 전체적으로 논문은 연속 MDP에 대한 강건성 이론을 정리하고, Wasserstein 거리 기반 모델/외란 학습이 실용적인 샘플 복잡도와 결합될 수 있음을 입증한다.