에피소딕 POMDP를 위한 메모리리스 정책 반복

초록

본 논문은 관측 기반 메모리리스(또는 제한된 메모리) 정책을 에피소딕 POMDP에 적용하기 위한 새로운 정책 반복 프레임워크를 제시한다. 출력(관측) 과정이 비마코프성을 띠는 점을 이용해, 단계별 정책 개선과 평가를 주기적인 패턴으로 교차 수행함으로써 단조 증가와 수렴을 보장한다. 최적의 주기 패턴을 이론적으로 분석하고, 가장 짧은 주기를 갖는 간단한 패턴을 제안한다. 또한 모델‑프리 버전을 개발해 데이터로부터 직접 메모리리스 정책을 학습한다. 실험 결과, 제안 방법은 모델 기반·모델 프리 모두에서 기존 정책 그라디언트 및 최신 특화 알고리즘보다 현저히 빠른 수렴 속도와 경쟁력 있는 성능을 보여준다.

상세 분석

이 논문은 POMDP의 최적 정책 탐색이 믿음(belief) 공간에서의 연산 복잡도와 NP‑hard 특성 때문에 실용적이지 않다는 점을 출발점으로 삼는다. 대신 관측만을 입력으로 하는 메모리리스 정책을 목표함으로써 상태 차원에 대한 의존성을 크게 낮춘다. 그러나 관측만을 이용하면 시스템은 비마코프성이 도입돼 전통적인 정책 반복(policy iteration, PI)의 핵심 가정인 “각 단계에서 독립적으로 정책을 개선할 수 있다”는 전제가 깨진다. 저자들은 이를 해결하기 위해 주기적 단계 업데이트(p eriodic stage updates) 라는 새로운 구조를 도입한다. 구체적으로, 임의의 주기 시퀀스 τₗ (ℓ=0,1,…) 를 정의하고, τₗ에 해당하는 단계에서만 정책 평가와 개선을 수행한다. 이때 정책 평가 단계에서는 해당 단계의 관측‑행동 가치 ¯Qπₗ(t)(o,a)와 상태 분포 μₜ를 동시에 계산한다. 정책 개선 단계에서는 ¯Qπₗ(t) 를 이용해 argmaxₐ ¯Qπₗ(t)(o,a) 로 새로운 결정 규칙을 얻는다.

주요 이론적 기여는 다음과 같다.

1. 단조성 및 수렴 보장: τₗ가 “onto”이며 연속된 τₗ이 동일 단계가 되지 않도록 하면, 각 반복에서 기대 반환 Lπₗ이 비감소하고 결국 지역 최적 메모리리스 정책에 수렴한다(정리 1). 이는 전통적인 MDP의 PI와 유사하지만, 비마코프성으로 인해 전역 최적성을 보장하지 못한다는 점이 차이점이다.
2. 주기 패턴 최적화: 연산 비용을 정량화한 computational‑efficiency index 를 도입해, 주기 길이 M과 업데이트 순서가 전체 평가 연산 수에 미치는 영향을 분석한다. 특히, 앞뒤 단계 간의 의존성을 고려해 전방(Forward) 스위프와 후방(Backward) 스위프를 비교하고, 가장 효율적인 패턴이 최소 주기 M=1인 “교차형” 패턴임을 증명한다. 이는 매 반복마다 한 단계만 업데이트하면서도 필요한 μₜ와 Qπₜ만 부분적으로 재계산하면 되므로 연산량이 O(T)에서 O(1) 수준으로 감소한다.
3. 모델‑프리 확장: 위 구조를 강화학습 환경에 적용하기 위해, 상태‑관측 분포 μₜ와 Qπₜ를 샘플 기반 추정기로 대체한다. 정책 평가 단계에서는 타깃 네트워크와 TD‑λ 같은 기법으로 ¯Q를 근사하고, 정책 개선 단계에서는 ε‑greedy 혹은 소프트맥스 정책을 사용해 결정 규칙을 업데이트한다. 이때도 주기적 업데이트 원칙을 유지해 샘플 효율성을 크게 높인다.

실험에서는 여러 표준 POMDP 베치(예: Tiger, RockSample, Maze)와 실제 로봇 탐색 시나리오를 사용했다. 모델 기반 설정에서는 MILP 기반 방법(Cohen & Parlementier, 2023)과 비교했을 때, 제안 알고리즘이 2‑5배 빠른 수렴 속도를 보이며 최적값의 90‑95% 수준을 유지했다. 모델‑프리 설정에서는 REINFORCE, PPO와 같은 정책 그라디언트 기반 방법보다 학습 단계가 3‑7배 적게 소요됐으며, 특히 관측 노이즈가 큰 환경에서 안정적인 성능을 나타냈다.

이 논문의 핵심 통찰은 “비마코프 출력 공간에서도 정책 반복을 가능하게 하는 주기적 단계 업데이트” 라는 설계 원칙이며, 이는 메모리리스 정책을 다루는 대부분의 기존 접근법(예: 전역 탐색, 그라디언트 기반)보다 구조적으로 더 효율적이다. 또한, 주기 패턴 최적화와 모델‑프리 확장은 실제 로봇·자동차 등 안전이 중요한 분야에서 결정론적 메모리리스 정책을 실시간으로 학습·배포할 수 있는 길을 열어준다.