분산형 경사하강법의 안장점 회피와 안정다양체 정리

초록

본 논문은 연속시간 분산 경사하강(Distributed Gradient Descent, DGD) 알고리즘이 비볼록 최적화 문제에서 안장점이 아닌 지역 최소점으로 수렴한다는 것을, 기존의 고전적 안정다양체 정리를 분산 환경에 맞게 확장한 새로운 정리를 통해 증명한다. 가정된 네트워크 연결성, 함수의 부드러움·코에르시브성, 그리고 감소하는 합의·혁신 가중치 조건 하에, DGD는 결국 모든 에이전트가 합의에 도달하고 전체 목적함수의 임계점으로 수렴한다. 그 중 안장점으로 수렴할 가능성은 차원 (Nd-p) ( (p)는 안장점의 음의 고유값 개수)인 저차원 안정다양체에 초기화된 경우에만 제한되므로, 일반적인 초기조건에서는 거의 확실히 지역 최소점에 도달한다.

상세 분석

논문은 먼저 분산 최적화 문제를 (f(x)=\sum_{n=1}^N f_n(x)) 형태로 정의하고, 각 에이전트 (n)이 자신의 로컬 함수 (f_n)와 이웃과의 합의(Consensus) 정보를 이용해 연속시간 동역학
\