이기종 스토캐스틱 모멘텀 ADMM을 통한 비볼록 복합 최적화

초록

본 논문은 네트워크 토폴로지에 의존하지 않는 노드별 적응형 스텝 사이즈와 STORM 기반 모멘텀 추정기를 결합한 HSM‑ADMM 알고리즘을 제안한다. 단일 루프 구조와 O(1) 미니배치로 비볼록·비스무스 복합 문제를 해결하며, 최적 오라클 복잡도 O(ε⁻¹·⁵)를 달성하고 통신량을 변수 하나만 전송하도록 최소화한다.

상세 분석

본 연구는 분산 비볼록 복합 최적화에서 기존 알고리즘이 전역 네트워크 파라미터(예: 최대 차수, 스펙트럼 반경)에 의해 스텝 사이즈가 제한되는 문제점을 정확히 짚어낸다. 이러한 전역 의존성은 이기종(heterogeneous) 네트워크, 즉 일부 노드는 고도로 연결돼 있고 일부는 희소하게 연결된 경우, 전체 수렴 속도를 급격히 저하시킨다. 저자는 이를 해결하기 위해 두 가지 핵심 아이디어를 도입한다. 첫째, STORM(Recursive Momentum Estimator)와 같은 최신 모멘텀 기반 분산 변분 감소 기법을 ADMM 프레임워크에 통합하여, 단일 루프 구조에서도 편향을 최소화하고 O(1) 미니배치만으로도 최적의 오라클 복잡도 O(ε⁻¹·⁵)를 달성한다. 둘째, 각 노드 i의 로컬 차수 d_i에 비례하는 적응형 프라임스텝 사이즈 η_i = η₀ / (d_i+1) 를 설계함으로써 스텝 사이즈가 전역 그래프 스펙트럼에 종속되지 않게 만든다. 이 설계는 AᵀA의 최소 특이값이 1이라는 그래프‑독립적 특성을 활용해, 수렴 증명에서 전역 파라미터 ρ(연결 효율)와 무관하게 안정성을 확보한다.

이론적 분석에서는 (i) 기대 그라디언트가 편향 없이 추정된다는 가정 하에, 모멘텀 추정기의 변동성을 제어하는 새로운 레시피를 제시하고, (ii) 프라임스텝 사이즈와 페널티 파라미터 ρ를 적절히 조합하면 전체 라그랑지안 감소가 보장됨을 증명한다. 결과적으로, ε‑정밀도 정지점에 도달하기 위한 샘플 복잡도는 ˜O(ε⁻¹·⁵)이며, 통신 복잡도는 매 iteration당 하나의 프라임 변수 x_i만 교환하므로 O(1)이다. 실험에서는 랜덤 그래프, 스타 토폴로지, 체인 구조 등 다양한 이기종 네트워크와 비볼록 딥러닝(예: 신경망 가중치 최적화) 및 비스무스 정규화(ℓ₁) 문제에 적용해, 기존의 DSGT, ProxGT‑SA, DEEPSTORM 등과 비교해 수렴 속도와 통신 효율 모두에서 현저히 우수함을 확인한다.