무작위 블록 좌표 하강법 복잡도 분석
본 논문은 무작위 블록 좌표 하강법(RBCD)의 수렴 속도와 반복 복잡도를 기존 연구보다 더 정확하게 평가한다. 특히, Nesterov의 두 번째 분석 기법을 일반적인 합성 목적함수에 확장하고, 기대값 기반 수렴률과 고확률 복잡도 경계를 개선한다. 또한, 제약이 없는 부드러운 볼록 최적화에 대해 새로운 “무작위 추정 시퀀스” 기법을 도입해 가속 RBCD의 수렴 속도를 최적에 가깝게 끌어올린다.
저자: Zhaosong Lu, Lin Xiao
본 연구는 무작위 블록 좌표 하강법(RBCD)과 그 가속 버전(ARCD)의 복잡도와 수렴 특성을 심층적으로 분석한다. 먼저, 문제 정의를 명확히 한다. 목표 함수는 부드러운 볼록 함수 f와 블록‑분리 볼록 함수 Ψ의 합인 F(x)=f(x)+Ψ(x)이며, 변수 x∈ℝ^N은 n개의 블록 {x_i}로 분할된다. 각 블록 i에 대해 부분 그래디언트 ∇_i f는 Lipschitz 상수 L_i를 만족한다는 가정 하에, 전체 공간에 대한 가중 노름 ‖x‖_L와 그 쌍대 ‖g‖*_L을 정의한다.
논문의 핵심 기여는 다음과 같다.
1. **Nesterov의 두 번째 분석 기법 확장**
Nesterov
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기