주기적 정규화 Q학습

초록

본 논문은 선형 함수 근사 하에서 Q‑learning의 수렴성을 확보하기 위해 투사 연산에 정규화를 도입하고, 이를 주기적으로 업데이트하는 새로운 알고리즘 PRQ(Periodic Regularized Q‑learning)를 제안한다. 정규화된 투사 연산 Γₑ가 Bellman 연산과 결합될 때 수축성을 갖게 함으로써, 모델 기반 RP‑VI와 모델 프리 PRQ 모두에 대해 유한 시간 수렴 및 표본 복잡도 경계를 엄격히 증명한다. 실험을 통해 정규화와 주기적 타깃 업데이트가 동시에 적용될 때만 안정적인 학습이 가능함을 확인한다.

상세 분석

본 연구는 Q‑learning이 선형 함수 근사와 결합될 때 발생하는 “죽음의 삼중고”(off‑policy, bootstrapping, function approximation) 문제를 정규화와 주기적 파라미터 업데이트라는 두 축으로 해결하고자 한다. 먼저, 기존의 투사 연산 Γ=Φ(ΦᵀDΦ)^{-1}ΦᵀD에 정규화 항 ηI를 추가한 Γₑ=Φ(ΦᵀDΦ+ηI)^{-1}ΦᵀD를 정의한다. η가 충분히 크면 Γₑ는 원점에 가까운 이미지 공간을 형성하고, Γₑ·T(·)는 γ‖Γₑ‖_∞<1 조건 하에서 수축 연산이 된다. 이는 Lemma 3.2와 Remark 3.4에서 수학적으로 증명되며, 정규화된 투사 연산이 존재와 유일성을 보장하는 핵심 메커니즘임을 보여준다.

정규화된 투사 연산을 이용해 정의한 정규화 투사 가치 반복(RP‑VI)
 Φθ_{k+1}=Γₑ T Φθ_k
은 모델 기반 환경에서 수렴을 보장한다(Lemma 4.1). 여기서 중요한 점은 θ와 θ′(타깃 파라미터)를 분리함으로써 max 연산에 의한 비미분성을 회피하고, L_η(θ,θ′)=½‖Γ(R+γPΠΦθ′)−Φθ‖_D²+½η‖θ‖² 형태의 볼록 최적화 문제로 전환한다는 것이다. 이 최적화는 1차 최적조건을 통해 (ΦᵀDΦ+ηI)θ = ΦᵀD(R+γPΠΦθ′) 로 정리되며, 이는 실제 구현 시 Stochastic Gradient Descent와 유사한 업데이트식으로 변환 가능하다.

PRQ는 위 RP‑VI를 샘플 기반으로 확장한 것으로, 타깃 파라미터 θ′를 일정 주기마다 고정하고 현재 파라미터 θ를 업데이트한다. 이 “주기적” 메커니즘은 타깃 네트워크와 유사하지만, 정규화된 투사 연산과 결합될 때만 수축성을 유지한다. 저자는 i.i.d.와 마코프 관측 모델 모두에 대해 유한 시간 수렴률 O((γ‖Γₑ‖_∞)^k)와 표본 복잡도 O(1/ε²) 수준의 이론적 경계를 제시한다. 특히, 기존 연구에서 요구되던 “트렁케이션”, “볼 제한”, “강한 지역 볼록성” 가정 없이도 수렴을 보장한다는 점이 큰 강점이다.

실험 부분에서는 정규화만 적용하거나 주기적 업데이트만 적용했을 때는 발산하거나 큰 진동을 보이는 반면, 두 요소를 동시에 적용한 PRQ는 안정적으로 최적 Q‑함수를 근사한다는 반례를 제시한다. 이는 정규화가 투사 연산을 수축적으로 만들고, 주기적 타깃 업데이트가 비정상적인 파라미터 변동을 억제한다는 이론적 결과와 일치한다.

전반적으로 본 논문은 “정규화된 투사 연산”이라는 새로운 수학적 도구를 도입하고, 이를 “주기적 타깃 업데이트”와 결합함으로써 선형 함수 근사 하의 Q‑learning에 대한 수렴 이론을 크게 확장한다. 이 접근법은 기존의 정규화 기반 방법이 갖는 수렴 불확실성을 해소하고, 실제 딥 RL 시스템에서도 적용 가능성을 시사한다.