팩터드 MDP에서 낙관적 초기화와 탐욕적 정책이 보장하는 다항시간 학습

초록

본 논문은 팩터드 마코프 결정 과정(FMDP)에서 낙관적으로 초기화된 모델을 유지하며 매 단계마다 현재 모델에 대해 탐욕적인 정책을 선택하는 FOIM(Factored Optimistic Initial Model) 알고리즘을 제안한다. 적절한 초기값을 설정하면 FOIM이 근사값 반복(AVI)의 고정점으로 수렴하고, 비근접 최적 행동을 취하는 단계 수와 각 단계의 계산 비용이 모두 문제 규모에 대해 다항시간으로 제한됨을 증명한다.

상세 분석

FOIM은 기존의 모델 기반 강화학습 프레임워크를 그대로 따르면서, 초기 전이·보상 모델을 “낙관적”으로 설정한다는 점이 핵심 차별점이다. 구체적으로, 각 상태‑액션 쌍에 대해 아직 충분히 관측되지 않은 경우, 전이 확률을 목표 상태가 가장 큰 보상을 주는 방향으로 편향시킨다. 이렇게 하면 에이전트는 초기 단계에서 탐험을 강제받으며, 실제 환경에서 얻은 데이터가 쌓일수록 모델은 점진적으로 실제 전이와 보상에 수렴한다.

알고리즘은 매 타임스텝마다 현재 추정된 MDP 모델에 대해 완전한 가치 반복을 수행하지 않고, 팩터드 구조를 이용한 근사값 반복(AVI)을 적용한다. AVI는 각 팩터(변수)별로 로컬 가치 함수를 업데이트함으로써 전체 상태공간의 차원을 크게 줄인다. FOIM은 이 AVI 결과에 대해 즉시 탐욕적인 행동을 선택한다. 따라서 정책 업데이트가 별도의 탐험 전략(예: ε‑greedy) 없이도 자연스럽게 이루어진다.

이론적 기여는 세 가지 측면에서 정량적 보장을 제공한다. 첫째, 초기 낙관성 파라미터가 충분히 크게 설정되면, 모델이 실제 환경을 정확히 학습하기 전이라도 AVI의 고정점에 수렴한다는 수렴성 정리를 증명한다. 둘째, “비근접 최적” 단계, 즉 현재 정책이 AVI 해와 ε‑근접하지 않은 경우의 총 횟수가 O(poly(|S|,|A|,1/ε,1/δ,1/γ)) 로 제한됨을 보인다. 여기서 |S|와 |A|는 각각 팩터드 변수들의 조합 크기와 행동 집합 크기이며, γ는 할인율, δ는 실패 확률이다. 셋째, 각 타임스텝에서 수행되는 연산은 팩터드 구조에 기반한 테이블 업데이트와 선형 시스템 해결에 국한돼, 전체 복잡도가 역시 다항시간이다.

증명 과정에서는 마코프 체인의 혼합 시간, 샘플 복원율, 그리고 Hoeffding 부등식을 활용해 관측된 전이 횟수가 충분히 커질 때마다 모델 오차가 급격히 감소함을 보인다. 또한, 팩터드 그래프의 트리폭이 제한적일 경우, 전이 확률을 효율적으로 추정할 수 있는 구조적 특성을 이용해 샘플 복잡도를 더욱 낮춘다. 이러한 분석은 기존의 PAC‑MDP 결과와 비교했을 때, 탐험‑활용 트레이드오프를 별도 파라미터로 조정할 필요 없이 초기 낙관성 하나만으로도 동일 수준의 보장을 얻는다는 점에서 혁신적이다.

실험적 검증은 논문에 포함되지 않았지만, 이론적 결과는 대규모 팩터드 시스템(예: 네트워크 라우팅, 로봇 팔 제어)에서 모델 기반 RL이 실시간으로 적용될 수 있음을 시사한다. 특히, 초기 모델을 낙관적으로 설정하는 간단한 트릭만으로도 복잡한 탐험 전략을 설계하지 않아도 된다는 점은 구현상의 부담을 크게 줄인다.

요약하면, FOIM은 팩터드 MDP의 구조적 특성을 활용하면서도 “낙관적 초기화 + 탐욕적 정책”이라는 두 가지 원칙만으로도 학습 효율성과 이론적 보장을 동시에 달성한다는 점에서, 강화학습 이론과 실무 모두에 중요한 진전을 제공한다.