연속시간 분산 확률적 경사 하강법 수렴 분석

초록

본 논문은 연속시간 다중에이전트 시스템에서 각 에이전트가 자신의 목적함수에 대한 확률적(브라운 운동) 그래디언트만을 이용해 정보를 교환하며, 전체 목적함수의 최소점을 공동으로 찾아가는 알고리즘을 제안한다. 시간 가변·방향성 그래프가 균형·강연결을 만족하고, 목적함수가 L‑스무스·경계된 그래디언트를 가질 때, 감소형 스텝 사이즈 ηₜ=β(t+1)^{‑a}(1/2<a≤1)를 적용하면 기대값 기준으로 수렴이 보장되며, a=3/4일 때 가장 빠른 다항 수렴률을 얻는다.

상세 분석

이 연구는 기존의 이산시간 분산 확률 최적화와 달리 연속시간 동역학을 기반으로 한 새로운 프레임워크를 제시한다. 에이전트 i는 상태 x_i(t)∈ℝ^m을 가지고, 인접 이웃과의 차이와 자신의 확률적 그래디언트 ∇̃f_i(x_i(t))=∇f_i(x_i(t))dt+g_i(t)dB_i(t)를 이용해 dx_i(t)=∑j a{ij}(t)(x_j−x_i)dt−η_t∇̃f_i(x_i)dt 로 업데이트한다. 여기서 a_{ij}(t)는 시간에 따라 변하는 가중치이며, 그래프 G(t)=(V,E(t),A(t))는 (δ,T_c)-강연결 및 균형성을 가정한다. 이러한 가정 하에 평균 합의 모델 ˙χ=−L(t)χ가 평균 합의를 달성함을 이용해 전체 시스템을 평균 상태 \bar{x}(t)=1/n∑_i x_i(t)와 편차 x_i−\bar{x}로 분해한다.

수학적 도구로는 Ito 공식, Lyapunov 함수, 그리고 그래프 라플라시안의 지수 수렴 특성을 활용한다. Lemma 3은 Ito 적분의 2차 모멘트 경계식을 제공하여 노이즈 항의 영향을 제어하고, Lemma 5는 편차 ‖x_i−\bar{x}‖에 대한 상한을 λ^t와 η_t의 적분 형태로 구한다. 주요 정리(Theorem 1)는 η_t=β(t+1)^{‑a} (1/2<a≤1)일 때 기대값 차이 E