낙관적 훈련과 Q‑러닝 수렴의 새로운 한계

초록

본 논문은 선형 함수 근사와 (ε,κ)‑탬드 깁스 정책 하에서 Q‑러닝의 안정성은 보장되지만, 해의 유일성 및 수렴을 보장하려면 훨씬 더 강한 구조적 가정이 필요함을 보인다. 일차·다차원 반례를 통해 무관심 정책에서는 PBE 해가 없거나 다중 해가 존재해 알고리즘이 불안정해짐을 증명하고, 이상적인 기저를 사용하더라도 탐욕 정책 아래에서는 두 개의 PBE 해가 존재함을 보여준다.

상세 분석

이 논문은 최근 (ε,κ)‑탬드 깁스 정책을 이용한 Q‑러닝의 안정성 결과를 확장하면서, 기존 연구가 놓친 두 가지 핵심 문제—PBE 해의 유일성 결여와 수렴 보장의 부재—를 체계적으로 탐구한다. 먼저, 선형 근사 Q‑함수 Qθ=θᵀψ를 가정하고, 정책 파라미터 θ에 의존하는 확률적 정책 ϕ̃θ를 정의한다. 논문은 기존 결과가 보장하는 “궁극적 유계성(ultimate boundedness)”이 파라미터가 제한된 구역 CΘ 안에서만 의미가 있음을 강조한다. 이 구역은 모든 상태‑행동 쌍에 대해 현재 정책이 최적 행동보다 큰 Q값을 갖는 경우를 의미한다.

핵심 기술은 평균 흐름 벡터 f̄(θ)=E