이질적 분산 영점순서 최적화와 압축 통신

초록

본 논문은 데이터 이질성을 갖는 다수의 에이전트가 참여하는 분산 영점순서(nonconvex) 최적화 문제에서, 기존에 요구되던 데이터 동질성, O(pn) 함수 평가, 혹은 알려진 P‑L 상수와 같은 강한 가정을 전혀 사용하지 않고도 수렴을 보장하는 HEDZOC 알고리즘을 제안한다. 두 점 차분 기반 영점순서 그라디언트 추정기와 일반적인 압축 연산자를 결합하여, 일반 비볼록, P‑L 조건(상수 미지), 그리고 상수가 알려진 경우 모두에 대해 선형 속도 향상을 달성한다. 이론적 결과는 이질적 적대적 샘플 생성 실험을 통해 검증된다.

상세 분석

HEDZOC 알고리즘은 기존 영점순서 방법이 두 점 차분을 사용할 때 발생하는 비소멸성 분산을 데이터 동질성 가정에 의존해 억제하던 한계를 극복한다. 논문은 먼저 두 점 차분 추정기 (g_{z,i,k}=p\frac{F_i(x_{i,k}+μ_{i,k}ζ_{i,k},ξ_{i,k})-F_i(x_{i,k},ξ_{i,k})}{μ_{i,k}ζ_{i,k}}) 의 분산이 (2p|\nabla_xF_i|^2+ \frac{p^2μ_{i,k}^2ℓ^2}{2}) 와 같이 차원 p 에 비례함을 지적한다. 데이터 이질성으로 인해 (|\nabla f_i(x)-\nabla f(x)|) 가 0이 되지 않아 기존 분석이 무너지게 된다. 이를 해결하기 위해 저자는 분산을 최적성 갭 (f(\bar x_k)-f^*) 에 비례하도록 스케일링하고, 라야푸노프 함수와 특수한 단계 크기 (\alpha_k) 를 설계해 이 항을 점진적으로 감소시킨다. 압축 연산자는 일반적인 (\mathcal{C}) 클래스를 따르며, 평균 보존(unbiased) 혹은 수축(contractive) 성질을 동시에 만족한다. 압축 오차는 (\mathbb{E}|\mathcal{C}(z)-z|^2\leq (1-δ)|z|^2) 형태로 제한되며, 이는 전체 알고리즘의 수렴 속도에 선형 속도 향상 (O(\sqrt{p}/\sqrt{nT})) 을 유지하도록 한다. 비볼록 상황에서는 (\frac{1}{T}\sum_{k=0}^{T-1}\mathbb{E}|\nabla f(\bar x_k)|^2\leq O!\left(\frac{\sqrt{p}}{\sqrt{nT}}\right)) 를, P‑L 조건이 알려지지 않은 경우에는 (O!\left(\frac{p}{nT^{\theta}}\right),;θ\in(0.5,1)) 을, 상수가 알려진 경우에는 (O!\left(\frac{p}{nT}\right)) 을 각각 얻는다. 이러한 결과는 기존에 데이터 동질성이나 (O(pn)) 샘플링을 전제로 한 연구와 동일하거나 더 나은 수준이며, 압축을 도입했음에도 불구하고 통신 비용을 크게 절감한다는 실용적 의미를 가진다.