적응형 평균 보상 강화학습을 위한 줌 기반 알고리즘

초록

본 논문은 연속 상태·행동 공간을 갖는 Lipschitz MDP에서 평균 보상 목표를 달성하기 위해, 상태‑행동 공간을 적응적으로 세분화하고 유망 영역에 집중하는 ZoRL 알고리즘을 제안한다. regret는 (O!\left(T^{1-1/d_{\text{eff}}}\right)) 로, 여기서 (d_{\text{eff}} = 2d_{\mathcal S}+d_z+3)이며, (d_z)는 문제 의존적인 줌 차원으로 최악의 경우에도 전체 차원 (d) 이하이다. 실험 결과는 기존 고정 격자 방식 및 이전 적응형 방법들을 능가함을 보여준다.

상세 분석

이 논문은 평균 보상 강화학습(average‑reward RL)이라는 비교적 덜 다루어진 설정에 Lipschitz 연속성 가정을 적용함으로써, 연속적인 상태·행동 공간을 갖는 MDP에 대한 이론적 regret 한계를 새롭게 제시한다. 핵심 아이디어는 “줌(z​ooming) 차원” (d_z)를 정의하고, 이를 활용해 알고리즘이 실제로 탐색해야 할 유망한 상태‑행동 쌍의 수를 문제 구조에 맞게 축소한다는 점이다. 기존 연구에서는 고정 격자(fixed discretization) 혹은 에피소드 기반 적응 격자를 사용했지만, 평균 보상 설정에서는 에피소드 길이가 무한히 늘어나면서 줌 차원이 원래 차원 (d)로 되돌아가는 문제점이 있었다. 저자들은 이를 해결하기 위해 키 셀(key cell) 개념을 도입한다. 키 셀은 현재 정책이 충분히 방문되지 않았으면서도 stationary measure가 크게 할당된 셀로, 이러한 셀을 중심으로 격자를 세밀하게 확장한다. Lemma 4.1은 정책의 서브옵티멀리티와 해당 정책이 지나가는 상태‑행동 쌍의 서브옵티멀리티 갭 사이의 정량적 관계를 증명하고, 이를 통해 키 셀 존재성을 보인다.

알고리즘 설계에서 두 가지 중요한 설계 선택이 눈에 띈다. 첫째, 활성 셀(Active cell) 정의에 사용된 방문 횟수 하한·상한 (N_{\min}(\zeta), N_{\max}(\zeta))는 셀의 직경에 로그·다항식 의존성을 부여해, 셀이 충분히 탐색될 때만 하위 셀을 활성화한다. 이는 과도한 탐색을 방지하고, 전체 방문 횟수를 (O(T^{1-1/d_{\text{eff}}})) 로 제한한다. 둘째, 에피소드 길이를 현재 정책의 “프록시 직경(proxy diameter)”에 따라 동적으로 결정한다. 기존 방식은 어느 셀의 방문 횟수가 두 배가 될 때마다 에피소드를 종료했지만, 이는 키 셀의 충분한 방문을 보장하지 못해 (d_{\text{eff}})가 크게 늘어나는 원인이었다. 저자들은 에피소드가 정책의 직경에 비례하도록 설계함으로써, 각 에피소드 내에서 키 셀을 최소 요구 횟수 이상 방문하도록 보장한다.

이론적 분석은 크게 두 단계로 진행된다. (1) 정책 집합 (\Phi(\beta))의 서브옵티멀 정책이 선택된 횟수를, (\beta)-서브옵티멀 상태‑행동 쌍의 (\beta)-커버링 수와 연결한다. 여기서 “키 셀”이 핵심 역할을 하며, 각 정책이 선택될 때마다 적어도 하나의 키 셀이 존재함을 보인다. (2) 커버링 수를 줌 차원 (d_z)와 연계해, 전체 regret를 (\tilde O!\left(T^{1-1/(2d_{\mathcal S}+d_z+3)}\right)) 로 상한한다. 중요한 점은 (d_z \le d = d_{\mathcal S}+d_{\mathcal A}) 이므로, 최악의 경우에도 기존 고정 격자 방식보다 한 차원 높은 효율성을 제공한다는 것이다.

실험에서는 연속적인 2‑D GridWorld와 로봇 팔 제어와 같은 베니시(MDP) 환경을 사용해, ZoRL이 고정 격자 기반 UCRL2, 그리고 이전 적응형 알고리즘(Kar & Singh 2024a,b)보다 현저히 낮은 regret 곡선을 보였다. 특히, 정책 공간이 복잡하거나 최적 정책이 희소한 경우에 줌 차원의 이점이 크게 나타났다.

전반적으로 이 논문은 평균 보상 RL에서 적응형 격자와 줌 기법을 성공적으로 통합함으로써, 연속 공간 MDP에 대한 이론적 한계와 실용적 성능을 동시에 끌어올렸다.