베이즈 강화학습의 탐욕적 근사와 확률적 낙관적 전이 모델

초록

본 논문은 파라미터 민감도가 낮고 샘플 복잡도가 기존 방법보다 작은 새로운 탐욕적 베이즈 강화학습 알고리즘인 Probably Optimistic Transition (POT)를 제안한다. POT는 베이즈 플래닝에 “가능성 높은 MDP” 정보를 결합해 전이 모델을 확률적으로 낙관적으로 조정함으로써, 파라미터 β 하나만으로 넓은 파라미터 범위에서 안정적인 학습을 가능하게 한다. 이론적으로는 수정된 베이즈 최적 플래닝(PUB)과 비교해 다항식 샘플 복잡도를 보이며, 기존 PAC‑MDP 기반 알고리즘보다 빠른 수렴을 보인다.

상세 분석

POT 알고리즘은 기존의 낙관적 접근(예: R‑max, BEB, BOLT)과 달리 “가능성 높은 전이 모델”을 확률적으로 구성한다는 점이 핵심이다. 구체적으로, 베이즈 플래닝에서 사용되는 전이 확률 (P(s’|s,a)) 를 인공 관측 (\theta) 를 통해 보정하는데, (\theta)는 단순히 고정된 파라미터가 아니라 현재 베이즈 사후분포의 평균 (\alpha)와 분산 (\sigma)를 이용해 (\theta = \beta(\alpha + \sigma) + 1) 형태로 정의된다. 여기서 (\beta) 는 사용자가 지정하는 유일한 하이퍼파라미터이며, (\beta)가 작을수록 낙관성이 감소하고, (\sigma) 항이 과도한 낙관성을 자동으로 억제한다. 따라서 파라미터 설정에 대한 민감도가 크게 완화된다.

이론적 분석에서는 두 가지 측면을 강조한다. 첫째, POT는 가치 반복 과정에서 실제 베이즈 최적 플래닝의 유효 horizon에 가까운 수렴 속도를 보인다. 이는 전이 모델이 확률적으로 제한돼 있어 가치 함수가 과도하게 확장되지 않기 때문이다. 둘째, 샘플 복잡도 측면에서 저자는 “Probably Upper Bounded belief‑based Bayesian planning”(PUB)이라는 수정된 베이즈 플래닝을 도입하고, POT가 이 모델과 거의 동일한 행동을 보이며 다항식 샘플 복잡도를 달성함을 증명한다. 특히, 기존 PAC‑MDP 알고리즘이 보장하는 탐색‑과‑활용 균형보다 더 “탐욕적인” 탐색을 허용하면서도, 파라미터가 크게 틀어지더라도 성능 저하가 제한적이다.

또한, BOLT과 비교했을 때 POT는 (\theta)를 고정값이 아닌 현재 사후분산에 기반해 동적으로 조정함으로써, BOLT이 파라미터 (\eta)에 과도하게 의존하는 문제를 해결한다. 실험적 검증(본문에 상세히 기술되지 않았지만 요약에 언급)에서는 사전이 크게 오차가 없는 경우 POT가 다른 알고리즘을 능가하고, 사전이 크게 잘못된 경우에는 탐욕적인 특성 때문에 성능이 다소 떨어지는 현상을 보인다. 이는 알고리즘 선택 시 “탐욕성” 수준을 고려해야 함을 시사한다.

결론적으로, POT는 파라미터 설정이 어려운 실제 적용 환경에서 베이즈 강화학습을 보다 실용적으로 만든다. 또한, 확률적 낙관 전이 모델을 이용한 베이즈 플래닝 단순화 기법은 향후 새로운 알고리즘 설계에 유용한 이론적 토대를 제공한다.