네트워크 GIANT의 수렴 분석: 근사 헤시안 기반 완전 분산 최적화 알고리즘

본 논문은 네트워크 환경에서 대규모 머신러닝 모델을 학습할 때, 통신 비용을 최소화하면서도 2차 정보(헤시안)를 활용해 수렴 속도를 높일 수 있는 새로운 알고리즘인 Network‑GIANT을 제안하고, 그 수렴 특성을 엄밀히 분석한다. 1. **문제 설정 및 배경** - 각 노드 $i$는 로컬 손실 $f_i(x)$를 가지고 있으며, 전체 목표는 $F(x)=\sum_{i=1}^n f_i(x)$를 최소화하는 것이다. - $f_i$는 $L$-리프시츠 연속 미분 가능하고 $μ$-강하게 볼록하다고 가정한다. - 네트워크는 무방향 연결 그래프 $G$로 모델링되며, 이중 확률 행렬 $W$(행과 열이 모두 1인 확률 행렬)를 통해 합의(consensus) 연산이 수행된다. 2. **Network‑GIANT 알고리즘** - 각 노드 $i$는 현재 추정 $x_i^k$와 그래디언트 추정 $y_i^k$를 유지한다. - 로컬 헤시안 $H_i^k=\nabla^2 f_i(x_i^k)$를 이용해 근사 뉴턴 방향 $d_i^k = -(H_i^k)^{-1} y_i^k$를 계산한다. 실제 구현에서는 $H_i^k$를 정규화하거나 제한된 메모리 버전을 사용한다. - 업데이트는 \