외생 MDP에서 순수 탐색 없이도 최적 학습 가능

초록

본 논문은 외생 입력만이 불확실성을 야기하는 Exo‑MDP에서 탐색 없이 순수히 활용(Exploitation)만으로도 서브선형 regret을 달성할 수 있음을 보인다. 탭ular 경우와 선형 함수 근사(LFA) 경우 각각 PEL과 LSVI‑PE 알고리즘을 제안하고, 전자는 $\widetilde O(H^{2}| \Xi |\sqrt K)$, 후자는 특성 차원·외생 상태·시간에 다항적인 regret 상한을 증명한다. 핵심 도구는 “반사실 궤적(counterfactual trajectories)”과 “벨먼 폐쇄 특성 전송(Bellman‑closed feature transport)”이며, 실험을 통해 기존 탐색 기반 방법보다 우수함을 확인한다.

상세 분석

이 논문은 Exo‑MDP라는 구조적 가정을 활용해 기존 강화학습(RL)에서 필수적이라고 여겨졌던 탐색(exploration) 단계가 실제로는 불필요함을 이론적으로 증명한다. Exo‑MDP는 상태를 내생(endogenous)과 외생(exogenous)으로 분리하고, 행동이 외생 상태 전이에 영향을 미치지 않는다는 특성을 갖는다. 이 특성 덕분에 하나의 외생 궤적(trace)만으로도 모든 정책에 대한 무편향(value) 추정이 가능해진다. 논문은 먼저 H=1인 “Exo‑Bandit”을 통해 전통적인 Follow‑the‑Leader(FTL) 알고리즘이 완전 정보(full‑information) 상황과 동일한 $\tilde O(\sqrt{K})$ 수준의 regret을 얻는 것을 보여준다. 이는 외생 신호가 제공하는 반사실 정보를 활용하면 탐색 없이도 최적 행동을 학습할 수 있음을 직관적으로 설명한다.

탭ular Exo‑MDP에 대해서는 정책 수준에서 FTL을 적용해 “Pure Exploitation Learning”(PEL) 알고리즘을 정의한다. 여기서는 매 에피소드마다 과거에 수집된 외생 궤적을 이용해 상태‑가치 함수를 재추정하고, 그 추정값을 그대로 greedy하게 사용한다. 저자는 이 과정에서 optimism이나 탐색 보너스를 전혀 삽입하지 않음에도 불구하고, $\widetilde O(H^{2}|\Xi|\sqrt K)$라는 regret 상한을 얻는다. 이 상한은 외생 상태 수 $|\Xi|$와 시간 horizon $H$에만 의존하고, 내생 상태·행동 공간의 규모에는 전혀 영향을 받지 않는다.

연속적이고 고차원인 내생 상태 공간을 다루기 위해 논문은 선형 함수 근사(LFA) 프레임워크를 도입한다. 제안된 LSVI‑PE 알고리즘은 (1) 외생 전이 모델을 경험적으로 추정, (2) 사후 결정(post‑decision) 상태를 이용해 행동 선택과 외생 무작위성을 분리, (3) 수집된 모든 greedy 궤적을 선형 회귀에 재활용한다는 3단계 절차를 따른다. 핵심 기술은 두 가지이다. 첫째, “counterfactual trajectory construction”은 현재 정책이 아닌 다른 정책이 동일한 외생 궤적을 겪었을 때의 가치 변화를 가상으로 재구성해, 정책 간 가치 차이를 무편향하게 추정한다. 둘째, “Bellman‑closed feature transport”는 선형 특성 공간이 벨먼 연산에 대해 닫혀 있음을 보장함으로써, 근사값이 단계별로 과도하게 누적되지 않도록 제어한다. 이 두 도구를 결합해 저자는 regret이 $ \tilde O\big( d^{2} |\Xi| H^{2} \sqrt K \big)$(여기서 $d$는 특성 차원) 이하임을 증명한다. 특히 내생 상태·행동 공간의 크기에 독립적이라는 점이 기존 선형 MDP 결과와 차별화된다.

또한 논문은 Exo‑MDP 가정이 없을 경우 PEL이 선형 regret을 보이는 부정 가능성 예시를 제시한다. 즉, 외생 전이가 행동에 독립적이라는 구조가 없으면, 관측된 궤적만으로는 충분한 정보 재사용이 불가능해 탐색이 필수적이다.

실험에서는 합성 데이터와 재고 관리, 에너지 저장 등 실제 운영 연구(OR) 문제를 사용해 PEL과 LSVI‑PE가 기존 탐색 기반 알고리즘(예: UCB‑type, optimism‑driven LSVI)보다 빠른 수렴과 낮은 누적 regret을 달성함을 확인한다. 특히 외생 상태가 큰 경우에도 알고리즘의 복잡도는 외생 상태 수에만 선형적으로 증가해 실용성이 높다.

전체적으로 이 논문은 “탐색은 필요 없다”는 기존 RL 패러다임에 강력한 반증을 제시한다. 외생 전이가 행동과 무관한 구조적 특성을 이용하면, 데이터 재활용만으로도 충분히 정확한 가치 추정이 가능하고, 따라서 순수 탐색 없이도 near‑optimal 학습이 가능함을 이론·실험 모두에서 입증한다.