무거운 꼬리 MDP를 위한 양쪽 세계 최적화: 적응형 FTRL 설계와 스킵 손실 추정

초록

본 논문은 무거운 꼬리 손실을 갖는 에피소드형 마르코프 결정 과정(HTMDP)에서, 환경이 스토캐스틱이든 적대적이든 사전 지식 없이도 최적의 성능을 보장하는 두 알고리즘 HT‑FTRL‑OM(전이 알려짐)과 HT‑FTRL‑UOB(전이 미지) 를 제안한다. 알려진 전이에서는 1/α‑Tsallis 엔트로피 정규화와 새로운 스킵 손실 추정기를 사용해 적대적 환경에서 ~O(T^{1/α})·, 스토캐스틱 환경에서 O(log T)·의 베스트‑오브‑보스(BobW) 보장을 얻는다. 전이가 미지인 경우, 비관적 스킵 추정과 상위 점유율(upper occupancy) 제한을 도입해 적대적 환경에서 ~O(T^{1/α}+√T)·, 스토캐스틱 환경에서 O(log² T)·의 regret을 달성한다. 핵심 기술로는 무거운 꼬리 편향 손실의 로컬 제어, 서브옵티멀 질량 전파 원리, 전이 불확실성과 추정 오류를 분리하는 새로운 regret 분해가 있다.

상세 분석

이 연구는 기존 HTMDP 문헌이 주로 스토캐스틱 환경에 국한되고, 적대적 상황에서는 보수적인 최악‑사례 분석에 머물렀던 점을 극복한다. 핵심 아이디어는 FTRL(Follow‑The‑Regularized‑Leader) 프레임워크를 점유율(occupancy) 측정 공간 위에 적용하고, 1/α‑Tsallis 엔트로피 정규화자를 도입해 손실의 α‑모멘트(1 < α ≤ 2)만 가정하는 상황에서도 안정적인 업데이트를 가능하게 만든 것이다.

알고리즘 HT‑FTRL‑OM은 매 라운드마다 점유율 벡터 xₜ를 Q(P) 폴리토프(전이 확률에 의해 정의된 점유율 집합) 내에서 최소화 문제
\