두 시간 규모 확률 근사에서 분리된 함수형 중심극한정리

초록

본 논문은 두 시간 규모(stochastic approximation) 알고리즘의 오차 궤적을 각각의 스텝 크기 제곱근으로 정규화하여, 빠른 스케일과 느린 스케일에서 독립적인 다변량 Ornstein‑Uhlenbeck 과정으로 수렴함을 보인다. 이를 위해 연속시간 궤적을 새롭게 구성하고, 마팅게일 문제 접근법과 보조 수열을 이용해 tightness와 약한 수렴을 증명한다. 결과는 기존의 점수렴 속도 분석을 넘어, 전체 궤적의 확률적 동역학을 정확히 기술한다.

상세 분석

이 연구는 두 시간 규모 확률 근사(SA)에서 “분리된 수렴(decoupled convergence)”이라는 현상을 함수형 중심극한정리(FCLT) 수준으로 확장한다는 점에서 혁신적이다. 기존 문헌은 βₙ⁻¹ᐟ²·(yₙ−y*)와 αₙ⁻¹ᐟ²·(xₙ−H(yₙ))가 각각 정규분포로 수렴한다는 점을 보여주었지만, 그 궤적 전체가 어떤 연속시간 확률 과정에 근사되는지는 다루지 않았다. 저자들은 βₙ/αₙ→0이라는 엄격한 두 시간 규모 가정을 전제로, 두 오차 항을 각각 자신의 스텝 크기 제곱근으로 정규화한 연속시간 프로세스 Uⁿ_f(t)와 Uⁿ_s(t)를 정의한다.

핵심 기술은 (1) 이러한 정규화된 궤적의 tightness를 확보하기 위해 제곱 평균 변동성을 정밀히 추정하고, (2) 마팅게일 문제 접근법을 이용해 각 스케일별로 한정된 생성자(operator)와 확산항을 식별함으로써 약한 수렴을 증명한다는 점이다. 특히, 빠른 스케일(α)에서는 기존 단일 시간 규모 SA와 동일한 Ornstein‑Uhlenbeck 한계가 나오며, 느린 스케일(β)에서는 G(H(·),·) 연산자에 대한 SA의 FCLT가 원래의 두 노이즈(ξₙ, ψₙ)의 결합 형태로 변형된 형태로 나타난다.

또한, 두 스케일이 서로 영향을 미치는 교차항을 직접 다루기 어려운 점을 해결하기 위해 “보조 수열(auxiliary sequence)”을 도입한다. 이 보조 수열은 빠른 업데이트가 느린 업데이트에 미치는 1차 영향을 제거하고, 남은 고차항만을 남겨 두 스케일을 효과적으로 독립시킨다. 이 아이디어는 기존의 두 시간 규모 SA 분석에서 흔히 사용되는 “quasi‑static” 가정보다 더 정량적인 제어를 가능하게 한다.

이론적 가정은 (i) F와 G가 전역 Lipschitz이며, 각 고정 y에 대해 F(x,y)=0의 해가 유일하고 매끄럽게 H(y)로 정의될 수 있음, (ii) 노이즈 ξₙ, ψₙ가 마팅게일 차이이며 2차 모멘트가 유계, (iii) 스텝 크기 αₙ, βₙ이 감소하면서 ∑αₙ=∑βₙ=∞, ∑αₙ²,∑βₙ²<∞, 그리고 βₙ/αₙ→0을 만족한다. 이러한 조건 하에 Lemma 5.3에서 tightness를, Theorem 4.1에서 각각의 한계 과정이 다변량 Ornstein‑Uhlenbeck임을 보인다.

실용적인 의미로는, 강화학습의 actor‑critic, 이중 시간 규모의 바이레벨 최적화, TD(λ)와 같은 알고리즘에서 스텝 크기 선택에 대한 이론적 가이드라인을 제공한다. 특히, “엄격한 두 시간 규모(strict two‑time‑scale)” 설정이 초기 스텝 비율에 대한 민감도를 크게 낮추어 실제 구현 시 튜닝 부담을 완화한다는 점이 강조된다. 마지막으로, 본 결과는 평균화된 이터레이트의 고확률 수렴, 구간 추정, 그리고 시간 균일한 신뢰구간 구축 등 통계적 추론에도 직접 활용될 수 있다.