연합학습에서 복합목적 함수의 선형 가속 달성

초록

본 논문은 부드러운 손실과 비부드러운 정규화항을 동시에 포함하는 복합 목표를 다루는 연합학습(Federated Learning) 알고리즘 FedNMap을 제안한다. 정상 맵(normal map) 기반 업데이트와 로컬 보정 전략을 결합해 데이터 이질성을 완화하고, 비볼록 손실 및 PL 조건 하에서 클라이언트 수 n과 로컬 업데이트 횟수 Q에 대해 선형 속도 향상을 이론적으로 입증한다.

상세 분석

FedNMap은 기존 연합학습에서 비부드러운 정규화항 φ를 처리하기 위해 프로시멀 SGD가 갖는 편향 문제를 정상 맵(Fγnor) 기반 업데이트로 해결한다. 정상 맵은 Fγnor(z)=∇f(proxγφ(z))+γ⁻¹(z−proxγφ(z)) 로 정의되며, 이는 ∂ψ(proxγφ(z)) 에 포함되는 점을 제공한다. 이 구조 덕분에 무작위 그래디언트 g_i(x;ξ) 가 편향 없이 정상 맵에 삽입될 수 있어, 로컬 단계 Q가 여러 번 수행돼도 전역 업데이트와의 일관성을 유지한다.

알고리즘은 각 클라이언트가 전역 변수 z_t 와 전역 보정 평균 (1/n)∑j y{j,t−1} 을 수신한 뒤, 보정 항 c_{i,t}=c_{i,t−1}−y_{i,t−1}+(1/n)∑j y{j,t−1} 을 갱신한다. 이후 Q번의 로컬 정상 맵 업데이트를 수행하고, y_{i,t}=(z_t−z_{i,Q}^t)/(η_a Q) 를 서버에 전송한다. 서버는 z_{t+1}=z_t−(Qη_s/η_a)·(1/n)∑i y{i,t} 와 x_{t+1}=proxγφ(z_{t+1}) 를 계산한다. 이 과정에서 클라이언트당 전송되는 변수는 y_{i,t} 단일값뿐이므로, SCAFFOLD 대비 업링크 통신량이 50% 절감된다.

이론적 분석은 다음 가정을 전제로 한다. (1) 각 클라이언트는 편향 없는 stochastic gradient g_i 를 제공하고, 분산은 σ² 로 제한된다. (2) 로컬 손실 f_i 는 L‑smooth이며, 전체 목표 ψ 는 하한을 가진다. (3) 정규화항 φ 는 ρ‑weakly convex이며, 하위 연속이다. (4) 필요 시, ψ가 PL 조건 2μ(ψ(x)−ψ*)≤dist(0,∂ψ(x))² 을 만족한다.

주요 정리 3.1은 비볼록 복합 목표에 대해 평균 정상 맵 제곱 노름이 O(1/(nQ)) 스케일링을 보이며, 통신 복잡도는
O!\big((L+ρ)Δψσ²/(nQε⁴)+(L+ρ)Δψ/ε²+…\big)
이다. 여기서 Δψ=ψ(x₀)−ψ* 이며, ε‑정밀도에 도달하기 위해 필요한 라운드 수는 n·Q에 반비례한다. 정리 3.2는 PL 조건 하에서 더욱 강력한 ˜O((L+ρ)σ²/(nQεμ²)+…) 복잡도를 제공한다. 두 경우 모두 기존 부드러운 연합학습 결과와 동일한 선형 속도 향상을 달성한다는 점이 핵심이다.

비교 표 1을 통해, FedNMap은 이전 작업들(예: FedD‑A, E‑Control‑D‑A, FedProx, SCAFFOLD 등)과 달리 (i) 비볼록 복합 목표에 대한 수렴을 보장하고, (ii) 데이터 이질성 가정이나 φ의 서브그라디언트 유계 가정을 필요로 하지 않으며, (iii) 통신 효율성을 유지한다. 또한 정상 맵 기반 접근은 기존 프로시멀 SGD가 갖는 편향을 근본적으로 제거함으로써, 다중 로컬 스텝을 수행해도 전역 최적화 방향과의 일관성을 확보한다.

실험적 검증 부분은 논문 본문에 상세히 제시되지 않았지만, 저자들은 일반적인 비부드러운 정규화(ℓ₁, 제약 집합)와 비볼록 손실(신경망, 로지스틱 회귀) 설정에서 FedNMap이 기존 방법보다 빠른 수렴과 낮은 통신 비용을 보인다고 주장한다. 특히, 클라이언트 수와 로컬 스텝 수를 늘렸을 때 선형 속도 향상이 실험적으로도 확인되었다.

전체적으로, FedNMap은 정상 맵이라는 수학적 도구를 연합학습에 성공적으로 도입함으로써, 복합 최적화 문제에 대한 이론적 선형 가속을 최초로 달성한 점에서 학술적 의의가 크다. 또한, 구현 복잡도와 통신 효율성을 동시에 만족시키므로 실제 연합학습 시스템에 적용 가능성이 높다.