제로 그라디언트 합 알고리즘을 통한 분산 볼록 최적화

초록

이 논문은 고정된 무방향 네트워크 상에서 무제한, 분리 가능한 볼록 목적함수를 해결하기 위한 연속시간 분산 알고리즘군, 즉 제로‑그라디언트‑합(ZGS) 알고리즘을 제안한다. Lyapunov 함수 후보를 이용해 알고리즘을 설계하고, 시스템이 영‑그라디언트‑합 매니폴드 위에서 불변하게 움직이며 최적해로 수렴함을 보인다. 또한 ZGS 알고리즘의 체계적 구성법을 제시하고, 일부 알고리즘이 지수적으로 수렴함을 증명한다. 수렴 속도에 대한 하·상한을 네트워크 연결성, 라플라시안 스펙트럼 반경, 함수의 곡률 등과 연관시켜 정량화한다.

상세 분석

본 연구는 분산 최적화 분야에서 연속시간 동역학을 활용한 새로운 프레임워크를 제시한다. 핵심 아이디어는 각 노드가 자신의 로컬 목적함수의 그라디언트를 계산하고, 인접 노드와 교환하는 정보가 전체 네트워크의 그라디언트 합을 영으로 만드는 제로‑그라디언트‑합 매니폴드에 시스템을 제한한다는 점이다. 이를 위해 저자들은 ‘그라디언트 합이 0인 집합’을 불변 집합으로 정의하고, 해당 집합 위에서 Lyapunov 함수 V(x)=∑_i