분산 최적화를 위한 튜닝 친화적 상대형 부정확 근접 증강라그랑주 방법

초록

**
본 논문은 다중 에이전트 네트워크에서 합의(convex) 최적화를 해결하기 위해, 상대형 오류 기준을 도입한 이중 루프 분산 알고리즘 D‑ripALM을 제안한다. 상대형 기준은 내부(내부) 반복과 외부 반복 사이의 전환을 자동으로 조정해 파라미터 튜닝 부담을 크게 감소시키며, 부드러움이나 강한 볼록성 가정 없이도 일반적인 볼록 목적함수에 대해 수렴을 보장한다. 실험 결과는 기존 방법 대비 통신 라운드 수와 하이퍼파라미터 민감도가 현저히 낮음을 확인한다.

**

상세 분석

**
D‑ripALM은 기존 이중 루프 분산 ALM(augmented Lagrangian method) 구조를 그대로 유지하면서, 두 가지 핵심 혁신을 도입한다. 첫 번째는 각 외부 반복마다 추가되는 근접(proximal) 항 τ_k²/σ_k ‖x−x_k‖²이다. 이 항은 서브문제의 강볼록성을 인위적으로 부여해 수치적 조건을 개선하고, 내부 최적화 알고리즘이 보다 안정적으로 수렴하도록 만든다. 두 번째는 절대형 허용오차 대신 상대형 오류 기준을 사용한다는 점이다. 구체적으로, 내부 서브문제의 근사해 x_{k+1} 와 그에 대응하는 서브그라디언트 Δ_{k+1} 가
⟨w_k−x_{k+1}, σ_k Δ_{k+1}⟩ + ‖σ_k Δ_{k+1}‖² ≤ ρ (‖σ_k √Z x_{k+1}‖² + τ_k ‖x_{k+1}−x_k‖²)
을 만족하면 충분히 정확하다고 판단한다. 여기서 ρ∈