확장 투영을 이용한 마코프 확률 근사법

초록

본 논문은 마코프 연쇄에 기반한 확률 근사 알고리즘에 대해, 시간에 따라 확대되는 투영 집합을 도입하여 안정성을 확보하고 수렴성을 증명한다. 무작위 단계 크기와 비부드한 마코프 전이 커널을 허용하며, 이를 입자 독립 메트로폴리스–헤이스팅 샘플링을 이용한 기대극대화(EM) 절차에 적용한다.

상세 분석

이 연구는 전통적인 Robbins‑Monro 형태의 확률 근사(SA) 과정이 마코프 연쇄에 의해 생성되는 잡음에 의해 불안정해지는 문제를 해결하고자 한다. 기존 방법에서는 고정된 투영 집합 R₀에 대한 강제 투영이나, 적응형 투영을 사용했지만, 이들은 종종 과도한 재시작을 초래하거나 경계에서 인위적인 고정점을 만들 위험이 있다. 저자들은 이러한 한계를 극복하기 위해 “확장 투영” 전략을 제안한다. 구체적으로, 시간 인덱스 i에 따라 증가하는 집합 {R_i}를 정의하고, 업데이트된 파라미터 θ*{i+1}=θ_i+Γ{i+1}H(θ_i,X_{i+1})가 R_{i+1}에 속하면 그대로 채택하고, 그렇지 않으면 사전에 정의된 측정가능한 투영 변수 θ_{proj,i+1}를 사용해 R_{i+1} 안으로 강제한다. 여기서 Γ_i는 무작위 단계 크기이며, 이는 마코프 전이 커널 P_θ가 매끄럽지 않은 경우에도 적용 가능하게 만든다.

안정성 분석의 핵심은 두 종류의 Lyapunov 함수 w(θ)를 도입하는 것이다. 첫 번째 경우는 w가 경계 ∂Θ에서 무한대로 발산하는 상황으로, w(θ_i)의 상한이 유한함을 보이면 전체 과정이 ∂Θ를 벗어나지 않음이 증명된다. 두 번째 경우는 w가 유계일 수 있는 경우로, 더 강한 드리프트 조건과 경계 근처에서의 제어가 필요하다. 저자들은 Condition 2.1‑2.3을 통해 w의 이중 연속 미분 가능성, 투영 집합의 포함 관계, 그리고 ∇w와 h(θ) 사이의 부정적 내적 조건을 명시한다. 또한, 무작위 단계 크기와 잡음 H(θ,X) 사이의 상관을 제어하기 위해 ξ_i와 α_w 라는 보조 수열을 도입하고, Lemma 2.4에서 제시된 제곱 적분 조건을 만족하면 Condition 2.3(i)와 (ii)를 자동으로 확보한다.

정리 2.5와 2.8은 각각 w가 무한히 커지는 경우와 유계인 경우에 대한 안정성 정리를 제공한다. 증명 과정에서는 첫 탈출 시간 σ_n과 마지막 진입 시간 τ_n을 정의해, w의 증가량을 단계별로 제한하고, 마코프 연쇄의 에르고딕성(특히 기하급수적 수렴)과 Poisson 방정식 해의 존재성을 활용한다. Section 3에서는 이러한 추상적 잡음 조건을 실제 마코프 전이 커널에 연결한다. Condition 3.1은 P_θ가 일정한 작은 집합 K₀에 재시작될 수 있음을 가정하고, Theorem 3.3은 Poisson 방정식 해의 성장 제어와 Γ_i, ξ_i 사이의 트레이드오프를 통해 Condition 2.3을 만족함을 보인다. 또한, Proposition 3.17과 3.19는 커널이 θ에 대해 매끄럽게 변하거나, 변하지 않을 경우 각각에 대한 구체적 검증 절차를 제시한다.

마지막으로, 저자들은 제안된 프레임워크를 입자 독립 Metropolis–Hastings(PIMH) 샘플링을 이용한 SA‑EM 알고리즘에 적용한다. 여기서는 θ가 모델 파라미터, X가 입자 필터링 결과이며, P_θ는 PIMH 전이 커널이다. 확장 투영을 통해 파라미터가 허용 영역을 벗어나지 않도록 보장하면서도, 무작위 단계 크기로 인해 비부드한 커널에도 수렴성을 유지한다. 전체적으로 이 논문은 마코프 잡음 하에서의 확률 근사 안정성 이론을 크게 확장했으며, 실용적인 베이지안 추정 및 강화학습 등 다양한 분야에 적용 가능성을 열어준다.