리만 기하에서 거울 하강법의 확장과 확률적 적용
본 논문은 기존 유클리드 공간의 Mirror Descent(MD)를 리만 다양체 위로 일반화한 Riemannian Mirror Descent(RMD)와 그 확률적 변형을 제안한다. 로컬 재파라미터화와 리트랙션을 이용해 알고리즘을 설계하고, 결정론적 및 확률적 설정에서 비대칭 수렴률 O(1/T)·O(1/T^{1/3}) 등을 비대칭 수렴 보장한다. 특히 Stiefel 다양체에 적용하면 기존 Curvilinear Gradient Descent(CGD…
저자: Jiaxin Jiang, Lei Shi, Jiyuan Tan
본 논문은 대규모 최적화에서 널리 사용되는 Mirror Descent(MD)를 리만 다양체(Riemannian manifold) 전반에 일반화하는 연구이다. 서론에서는 MD가 유클리드 공간에서 강하게 볼록한 잠재 함수 ψ에 의해 정의된 Bregman 발산을 이용해 문제의 기하학에 맞는 업데이트를 수행함을 설명하고, 이러한 아이디어가 리만 다양체에서도 적용될 수 있음을 제시한다. 기존 연구에서는 Riemannian gradient descent, proximal point, momentum, variance‑reduced 방법 등이 다루어졌지만, MD와 같은 “dual‑space” 접근법은 거의 탐구되지 않았다는 점을 강조한다.
핵심 이론은 ψ가 정의하는 리만 계량 g_ψ(v,u)=vᵀ∇²ψ(x)u를 이용해 (ℝ^d, g_ψ)를 리만 다양체 M_ψ 로 보는 것이다. ψ의 그라디언트 매핑 ∇ψ: M_ψ → M_{ψ*}는 전역적인 미분동형사상이며, 그 역은 ∇ψ*이다. MD의 두 단계(dual 업데이트와 primal 복귀)를 이 매핑을 통해 “재파라미터화된 공간”에서의 Riemannian gradient descent로 해석한다. 이를 일반 리만 다양체에 적용하기 위해 매 반복마다 로컬 미분동형사상 φ_t: \widehat N_{r_t}(x_t) → M_t와 리트랙션 R_t를 선택한다. φ_t는 작은 지오데식 볼 내에서 정의된 좌표 변환이며, R_t는 그 좌표계에서의 저비용 이동 연산이다. 알고리즘 1(RMD)에서는 y_{t+1}=R_t(φ_t(x_t))(−η_t Dφ_t(x_t)
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기