분산 최적화를 위한 선형 수렴 근접 경사 알고리즘

초록

본 논문은 모든 에이전트가 동일한 비부드러운 정규화 함수를 공유한다는 가정 하에, 분산 환경에서 복합 목적함수를 해결하기 위한 새로운 근접 경사(P2D2) 알고리즘을 제안한다. 제안 방법은 고정점이 전역 최적해와 일치함을 보이며, 강하게 볼록한 경우 전역 선형 수렴을 엄격히 증명한다. 또한, 비정규화 항이 없을 때는 기존 EXTRA 알고리즘의 수렴 분석을 일반화하여 단계 크기와 수렴 속도에 대한 유용한 경계를 제공한다.

상세 분석

본 연구는 분산 최적화 분야에서 아직 해결되지 않았던 “분산 근접 경사 방법의 전역 선형 수렴” 문제에 직접적인 해답을 제시한다. 핵심 아이디어는 모든 노드가 동일한 비부드러운 정규화 항 R(w)를 공유한다는 전제 아래, 합성 목적함수 J_k(w)+R(w) 를 각각의 로컬 변수 w_k에 할당하고, 네트워크 라플라시안에 해당하는 행렬 B를 이용해 합의(consensus) 제약을 B^{1/2}W=0 형태로 변환한다. 이 제약을 라그랑주 승수 Y와 함께 증강 라그랑지안 L_μ(W,Y)=J(W)+R(W)+Y^TB^{1/2}W+½μ‖B^{1/2}W‖^2 로 구성하고, 원시‑쌍대(primal‑dual) 업데이트를 (10a)–(10c) 형태로 설계한다. 특히, 기존 PG‑EXTRA와 차별화되는 점은 이중 변수 업데이트에서 현재 변수 W_i 대신 중간 변수 Z_i를 사용한다는 점이다. 이 설계는 알고리즘이 각 반복마다 한 번의 통신(인접 이웃과의 벡터 교환)만으로 구현될 수 있게 하면서도, 고정점이 전역 최적해 w^*와 정확히 일치함을 보장한다.

수렴 증명은 크게 두 단계로 나뉜다. 첫째, Lemma 1을 통해 고정점 (W^,Y^,Z^*) 가 존재하고, W^가 문제 (2)의 유일한 최적해와 동일함을 확인한다. 여기서 B^{1/2}Z^=0 이므로 모든 로컬 변수는 동일한 값으로 수렴한다. 둘째, 강한 볼록성(ν‑strong convexity)과 Lipschitz 연속성(δ‑Lipschitz gradient) 가정 하에, 오류 벡터 e_i=