분산 비볼록 최적화를 위한 통합 프라임‑듀얼 근접 프레임워크

초록

**
본 논문은 비볼록 목표 함수를 갖는 분산 합성 최적화 문제를 해결하기 위해, 증강 라그랑지안의 1차 근사와 시간 가변 근접 항을 결합한 통합 프라임‑듀얼 근접(UPP) 프레임워크를 제안한다. UPP는 매개변수 선택에 따라 두 가지 구현인 UPP‑MC(다중 내부 통신)와 UPP‑SC(단일 내부 통신)를 생성하며, 두 알고리즘 모두 비볼록 부드러운 문제에 대해 서브선형(𝑂(1/T)) 수렴을 보장한다. 추가로 폴리아크‑Łojasiewicz(P‑Ł) 조건이 만족될 경우 UPP‑MC는 전역 최적점으로 선형 수렴한다. 통신 효율성을 높이기 위해 Chebyshev 가속을 적용한 UPP‑SC‑OPT을 설계했으며, 이는 𝑂( M√γ/ε ) 라는 최적 통신 복잡도 상한을 달성한다. 실험 결과, 제안 알고리즘이 기존 최첨단 방법보다 수렴 속도와 통신 비용 모두에서 우수함을 확인하였다.

**

상세 분석

**
논문은 먼저 전통적인 증강 라그랑지안(augmented Lagrangian, AL) 방식을 비볼록 문제에 적용하기 위해, 목표 함수를 현재 iterate xᵏ에서의 1차 테일러 전개로 근사하고, 추가적인 근접 행렬 Bₖ를 도입한다. 이때 Bₖ는 시간에 따라 변하면서 양정(positive definite) 조건 Bₖ + ρ H ≻ 0을 만족하도록 설계된다. 이러한 설계는 primal 업데이트를 닫힌 형태인
x^{k+1}=x^{k}−(Bₖ+ρH)^{-1}