단일 시간 스케일 온라인 액터‑크리틱 알고리즘의 수렴 분석

초록

본 논문은 비평가와 액터가 동일한 시간 스케일에서 동시에 업데이트되는 온라인 TD 기반 액터‑크리틱 방식을 제안한다. 선형 함수 근사와 동일한 TD 신호를 이용해 평균 보상을 최적화하며, 수렴은 최적값이 아닌 최적값 근처의 이웃 영역으로 보장한다. 이론적 증명과 실험을 통해 기존의 두 시간 스케일 방식 대비 빠른 수렴과 생물학적 타당성을 강조한다.

상세 분석

이 연구는 강화학습에서 가장 널리 쓰이는 액터‑크리틱 구조를 시간 스케일 측면에서 재구성한다는 점에서 혁신적이다. 기존 수렴 증명은 비평가가 빠르게, 액터가 느리게 학습하도록 두 개의 학습률(시간 스케일)을 설정해야만 안정적인 수렴을 보장했다. 그러나 뇌의 신경 회로는 동일한 신경망 내에서 가치와 정책을 동시에 업데이트하므로, 두 스케일을 인위적으로 구분하기 어렵다. 저자들은 이 문제를 해결하기 위해 단일 시간 스케일(single‑time‑scale) 접근법을 채택하고, 비평가와 액터 모두 동일한 학습률 αₙ을 사용한다.

핵심 아이디어는 동일한 TD(0) 신호 dₙ를 두 모듈이 공유한다는 점이다. 비평가의 파라미터 w는 선형 함수 근사 V̂(x;w)=φ(x)ᵀw 로 가치 함수를 추정하고, TD 오차 δₙ = rₙ−η̂ₙ+φ(xₙ₊₁)ᵀwₙ−φ(xₙ)ᵀwₙ 를 계산한다. 액터는 파라미터 θ를 정책 μ(u|x,θ) 로 표현하고, 정책 그라디언트 추정에 동일한 δₙ 를 사용한다: θₙ₊₁ = θₙ + αₙ δₙ ∇_θ log μ(uₙ|xₙ,θₙ).

수학적 분석은 오스코르(ODE) 방법을 기반으로 한다. 두 파라미터 집합 (θ,w)의 업데이트를 연속 시간 동역학으로 근사하고, 해당 ODE가 안정적인 고정점 근처에서 수렴함을 보인다. 여기서 중요한 가정은

1. 마코프 체인의 전이 행렬 P(θ)가 주기성·재현·가역성을 만족하고,
2. 정책 μ와 전이 행렬의 1차·2차 미분이 전역적으로 유계이며,
3. 보상 r(x) 가 유계라는 점이다.

이러한 가정 하에, η(θ) 라는 평균 보상 함수는 매끄럽고, 그라디언트 ∇η(θ) 가 Lipschitz 연속성을 가진다. 따라서 ODE 해는 η(θ) 의 국소 최대점 근처의 이웃 영역(neighbourhood)으로 수렴한다. 즉, 정확히 최적점이 아니라, 학습률 αₙ 의 크기와 잡음 수준에 따라 반경 ε 의 구역 안으로 들어간다. 이는 두 시간 스케일 방식이 보장하는 정확한 최적점 수렴보다 약하지만, 동일한 학습률을 사용함으로써 구현 복잡도가 크게 감소하고, 생물학적 모델링에 더 적합하다.

또한 저자들은 선형 함수 근사를 선택함으로써 비평가의 파라미터 공간을 유한 차원으로 제한하고, TD 오차의 편향-분산 트레이드오프를 제어한다. 선형 근사는 Poisson 방정식 h(x,θ) = r(x)−η(θ)+∑_y P(y|x,θ)h(y,θ) 의 해가 존재하고 유계임을 보장한다.

한계점으로는(1) 수렴이 이웃 영역에 머무른다는 점, (2) 보상과 전이 행렬이 유계·가역성을 만족해야 한다는 강한 가정, (3) 실험에서 확인된 수렴 속도가 반드시 기존 두 시간 스케일 방법보다 빠르다고 일반화하기 어렵다는 점을 들 수 있다. 그럼에도 불구하고, 동일 TD 신호 공유와 단일 학습률이라는 설계는 신경과학적 관점에서 뇌의 도파민 신호가 가치와 정책을 동시에 전달한다는 가설을 뒷받침한다.