K단 앞보기 임계값 기반 비에피소드 유한기간 강화학습

초록

본 논문은 비에피소드형 유한기간 MDP에서 전체 horizon를 추정하는 어려움을 완화하기 위해 K단 앞보기 Q‑함수와 시간에 따라 변하는 임계값을 결합한 정책을 제안한다. 제안 알고리즘 LGKT는 K=1일 때 최소극대(regret) 상수 regret을 달성하고, K≥2일 경우 O(max(K−1, C_{K−1})·√(S A T log T)) 의 regret을 보이며, 실험적으로 JumpRiverSwim, FrozenLake, AnyTrading 등에서 기존 탭ular RL 방법들을 능가한다.

상세 분석

이 논문은 비에피소드형 유한기간 MDP라는 특수한 설정을 정확히 짚어낸다. 전통적인 무한‑ horizon 혹은 에피소드형 방법들은 모두 환경이 재설정되거나 할인계수가 존재한다는 전제하에 수렴성을 보장한다. 그러나 고정된 터미널 타임 T가 주어지고 에피소드가 재시작되지 않는 상황에서는 전체 horizon까지의 Q‑값을 샘플 하나만으로 추정하는 것이 고분산이며, 결국 선형 regret Ω(T)에 머문다. 저자들은 이 근본적인 “추정 장벽”을 두 단계로 완화한다. 첫 번째는 Q‑함수를 전체 horizon 대신 K단 앞보기 Q‑함수 Q⁎{T−K} 로 제한함으로써 목표값의 변동성을 크게 낮춘다. K=1이면 문제는 컨텍스트 밴드잇으로 축소되어 기존의 최소극대(regret) 상수 O(1) 결과를 그대로 차용할 수 있다. 두 번째는 “임계값(thresholding)” 메커니즘을 도입한다. 각 시점 t에 대해 현재 상태‑행동 쌍의 K‑step 기대 보상이 사전에 정의된 임계값 γ_t 를 초과하는 경우에만 해당 행동을 선택하고, 초과하지 않을 경우 최적의 K‑step 행동 a⁎{s, min(h,K)} 로 대체한다. 이렇게 하면 탐색 공간이 임계값을 만족하는 행동 집합으로 제한돼 샘플 효율이 더욱 향상된다.

이론적 기여는 크게 세 부분으로 나뉜다. (1) K‑step 앞보기 임계값 정책 π_{K,γ} 를 정의하고, K≥T이면 greedy 정책이 최적 정책 π⁎와 동일함을 보이며, 이진 상태 MDP에 대해 stochastic dominance 가정(Assumption 3.2) 하에서는 모든 K에 대해 greedy 정책이 최적임을 증명한다(Thm 3.3). 반면 일반적인 다중 상태 MDP에서는 K<T일 경우 최적성 차이가 Θ(T)까지 커질 수 있음을 구성적 반례로 제시한다(Thm 3.4). (2) 제안 알고리즘 LGKT(Lower‑Confidence‑Bound Guided K‑step Thresholding)를 설계한다. 알고리즘은 각 (s,a) 쌍에 대해 K‑step 보상의 상한·하한을 LCB/UCB 형태로 유지하고, 임계값 γ_t 를 시간에 따라 감소시키며, 탐색‑활용 균형을 LCB 기반으로 조정한다. (3) regret 분석을 통해 K=1일 때는 기존 최소극대 밴드잇 결과와 일치하게 상수 regret을 달성하고, K≥2일 때는 O(max(K−1, C_{K−1})·√(S A T log T)) 의 상한을 얻는다. 여기서 C_{K−1} 은 인스턴스‑특정 상수로, K‑step 보상의 변동성에 비례한다. 이 결과는 max(K, C_{K−1})·√(S A)=o(√T) 조건 하에 서브선형 수렴을 보장한다는 점에서 기존 선형 regret 결과를 크게 개선한다.

실험에서는 1,000개의 합성 MDP, JumpRiverSwim, FrozenLake, 그리고 연속 상태 공간을 갖는 AnyTrading 환경을 사용했다. LGKT는 K를 초기에는 1로 두고 점진적으로 증가시키는 적응 스케줄을 적용했으며, 이는 탐색 비용을 초기에는 최소화하고, 학습이 진행될수록 더 깊은 앞보기를 허용해 최적성에 근접하도록 설계되었다. 모든 벤치마크(UCRL2, UCB‑VI, ε‑greedy 등) 대비 누적 보상이 현저히 높았으며, 특히 긴 horizon( T≈10⁴) 상황에서 기존 방법들이 급격히 성능 저하를 보이는 반면 LGKT는 안정적인 성장 곡선을 유지했다.

전체적으로 이 논문은 비에피소드형 유한기간 RL이라는 아직 충분히 탐구되지 않은 영역에 대해, “짧은 앞보기 + 임계값”이라는 직관적인 아이디어를 정량적 이론과 실험으로 뒷받침함으로써 새로운 연구 방향을 제시한다. 특히 K‑step 트렁케이션이 샘플 복잡도를 어떻게 감소시키는지, 그리고 임계값 기반 행동 선택이 탐색 비용을 어떻게 제한하는지를 명확히 보여주며, 향후 함수 근사, 심층 RL, 혹은 다중 에이전트 설정으로의 확장 가능성을 열어준다.