평균보상 Q학습의 오차 역제곱 샘플 복잡도 달성 새로운 수축 원리

초록

본 논문은 평균보상 마르코프 결정 과정에서 기존의 수축 가정 없이도 동기식·비동기식 Q‑학습이 오차 ε에 대해 ε⁻² 의 최적 샘플 복잡도를 달성한다는 이론을 제시한다. 핵심은 “게으른 변환(lazy transformation)”을 적용해 상태가 일정 확률로 유지되게 만든 뒤, 인스턴스‑종속 세미노름을 구성해 변환된 벨만 연산자를 1‑스텝 수축으로 만든다. 이를 기반으로 제안된 Lazy Q‑learning 알고리즘은 간단하면서도 높은 이론적 효율성을 보인다.

상세 분석

논문은 평균보상 MDP에서 벨만 연산자가 전통적인 노름 하에서 수축성을 갖지 않아 수렴 분석이 어려운 점을 지적한다. 기존 연구들은 강력한 세미노름 수축 가정이나 할인된 MDP 근사 등을 도입했지만, 이는 파라미터 의존성 혹은 ε에 대한 비최적 복잡도를 초래한다. 저자들은 이러한 한계를 극복하기 위해 두 가지 핵심 아이디어를 도입한다. 첫째, 모든 상태‑행동 쌍에 대해 일정 확률 α (논문에서는 α=½) 로 현재 상태에 머무르는 “게으른 변환”을 적용한다. 이 변환은 마코프 체인의 주기성을 없애면서도 최적 정책과 평균 보상을 보존한다는 Lemma 3.1을 통해 증명된다. 둘째, 변환된 전이 행렬에 대해 인스턴스‑종속 세미노름 sp̂(·) 을 정의한다. 이 세미노름은 전통적인 span sp(·)와 동일한 영공간을 가지지만, 변환된 벨만 연산자 T_{P̃} 에 대해 ‖T_{P̃}Q – T_{P̃}Q′‖{sp̂} ≤ (1–δ)‖Q – Q′‖{sp̂} (δ>0)인 1‑스텝 수축성을 만족한다. 여기서 δ는 도달 가능성 가정(Assumption 1)과 α 에 의해 결정되는 상수이며, 도달 가능성은 모든 상태가 어떤 고정 기준 상태 s† 에 유한한 기대 시간 내에 도달할 수 있음을 의미한다. 이 수축성은 기존의 J‑step γ‑수축 가정을 대체하며, 파라미터 γ 를 별도로 추정할 필요가 없다는 장점을 가진다.

수축성을 확보한 뒤, 저자들은 두 가지 알고리즘을 설계한다. 동기식 버전은 매 업데이트마다 전체 |S||A| 쌍을 순차적으로 샘플링하거나, “암시적 게으른 샘플링”을 통해 현재 상태에서 α 확률로 자체 전이하고 나머지는 원래 전이 확률을 사용한다. 비동기식 버전은 단일 궤적에서 데이터를 수집하며, 동일한 게으른 전이를 적용한다. 두 경우 모두 마지막 반복값 Q_T 에 대해 sp̂(Q_T – Q^*) ≤ ε 를 보장하고, 유도된 정책이 ε‑optimal 임을 고확률로 증명한다. 샘플 복잡도는 동기식에서 Õ(|S||A| ε⁻²) , 비동기식에서는 Õ(ε⁻²) 이며, 이는 표 1에 정리된 기존 최첨단 결과와 비교해 ε에 대한 차수가 최적(‑2)임을 보여준다. 특히 비동기식에서는 상태·행동 수에 대한 의존성이 최소화되어, 실제 온라인 학습 시에 큰 장점을 제공한다.

이론적 증명은 크게 두 부분으로 구성된다. 첫째, 게으른 변환 후 얻어진 전이 행렬이 K‑step hitting time K (Assumption 1에 의해 유한) 이하로 모든 상태를 연결한다는 사실을 이용해, extremal norm theory를 통해 sp̂ 세미노름을 명시적으로 구성한다. 둘째, 이 세미노름 하에서의 수축성을 이용해 표준 확률적 근사(스텝 사이즈 η_t = c/t)와 마르코프 체인 혼합 시간 분석을 결합, Lyapunov 함수 V_t = sp̂(Q_t – Q^*)²의 기대 감소를 보이며, 최종적으로 ε‑정밀도에 도달하는 데 필요한 샘플 수를 도출한다.

전체적으로 이 논문은 평균보상 강화학습에서 “수축을 강제하지 않고도” 최적 샘플 복잡도를 달성할 수 있는 새로운 분석 프레임워크를 제시한다는 점에서 이론적·실용적 의미가 크다. 특히, 게으른 변환과 인스턴스‑종속 세미노름이라는 두 개념은 다른 연산자 분석이나 정책 평가에도 확장 가능성이 있어, 향후 연구에 풍부한 영감을 제공할 것으로 기대된다.