정책 추론으로 보는 MDP 계획: 베이지안 접근과 VSMC 구현

초록

본 논문은 에피소드형 MDP의 최적 정책 탐색을 정책 자체를 잠재 변수로 하는 베이지안 추론 문제로 재구성한다. 기대 보상이 높은 정책에 비정규화된 최적성 확률을 부여하고, 이를 바탕으로 후방 분포를 정의한다. 이 후방을 근사하기 위해 변분 순차 몬테카를로(VSMC)를 변형하여 결정론적 정책에 대한 추론을 수행하고, 정책 일관성을 보장하는 스윕과 전이 잡음의 공동 샘플링 기법을 도입한다. 행동 선택은 후방 예측 샘플링을 통해 톰슨 샘플링 형태의 확률적 제어 정책을 만든다. 실험은 그리드 월드, 블랙잭, 트라이앵글 타이어월드, 학사 지도 문제에서 수행되어, 기존 Soft Actor‑Critic과의 질적·통계적 차이를 보여준다.

상세 분석

이 연구는 MDP 계획을 “정책 추론”이라는 베이지안 프레임워크로 전환함으로써 두 가지 핵심 이점을 제공한다. 첫째, 기존의 최적화 기반 플래닝 알고리즘을 일반적인 베이지안 추론 기법에 매핑함으로써 도메인‑특화 설계 없이도 적용 가능한 통합 파이프라인을 만든다. 둘째, 최적 정책에 대한 불확실성을 명시적인 후방 분포 형태로 표현함으로써, 정책 수준에서의 불확실성을 직접 해석하고 활용할 수 있다.

핵심 수학적 정의는 정책 π에 대해 기대 반환을 로그 비정규화 확률 log ˜p(π)=Eτπ