분산 로컬 GD의 암묵적 편향과 중앙 모델 수렴성

초록

본 논문은 과잉 파라미터화된 선형 모델에서 로컬 Gradient Descent(또는 FedAvg)가 여러 로컬 업데이트를 수행한 뒤에도 전역 모델이 중앙에서 학습한 모델과 같은 방향으로 수렴한다는 암묵적 편향(implicit bias)을 증명한다. 특히 선형 분리 데이터에 대해 로컬‑GD가 임의의 로컬 스텝 수 L을 사용해도 전역 모델은 중앙 모델과 O(1/ log Lk) 속도로 정렬되며, 학습률 η=O(1/L)일 때 손실은 O(1/Lk)로 감소한다. 수정된 알고리즘을 통해 학습률 의존성을 없앨 수도 있음을 보인다.

상세 분석

이 연구는 과잉 파라미터화된 환경에서 “다중 해”가 존재함에도 불구하고, 로컬‑GD가 어떤 해로 수렴하는지를 암묵적 편향이라는 프레임으로 규명한다. 기존의 중앙 집중형 GD가 선형 분리 데이터에 대해 최대 마진 방향으로 수렴한다는 Soudry et al. (2018)의 결과를 확장해, 로컬‑GD의 전역 모델이 동일한 최대 마진 방향을 공유함을 보였다. 핵심은 각 노드가 L번의 로컬 업데이트를 수행한 뒤, 평균을 통해 전역 모델을 업데이트하는 과정이 “동시 투영(iterative projection)”과 동일하게 동작한다는 점이다. 각 로컬 업데이트는 해당 노드의 데이터 행공간에 대한 투영을 수행하고, 평균 단계는 이러한 투영들의 합을 다시 전체 파라미터 공간에 투영한다. 결과적으로 전역 파라미터와 중앙 파라미터 사이의 차이는 각 노드의 행공간에 대한 직교 보완 공간에 점점 감소한다.

정리된 정리는 두 가지 주요 정리로 제시된다.

1. Theorem 2: 로컬‑GD(학습률 η=Θ(1/L))는 라운드 k가 증가함에 따라 전역 모델 w_k^0와 중앙 모델 w_c 사이의 각도 차이가 O(1/ log Lk)로 감소한다. 이는 “방향” 측면에서 완전 일치함을 의미한다. 동시에 손실은 O(1/Lk)로 수렴한다.
2. Modified algorithm (Section 4.4): 각 로컬 문제를 정확히(또는 충분히) 해결하도록 설계하면 학습률 η가 L에 독립적이어도 동일한 암묵적 편향을 유지한다. 이는 실제 시스템에서 매우 많은 로컬 스텝을 허용하면서도 수렴 특성을 보장한다는 실용적 의미를 갖는다.

또한, 로컬‑SGD에 대해서도 동일한 암묵적 편향이 유지된다는 Theorem 5를 제시한다. 여기서는 각 로컬 스텝이 무작위 미니배치를 사용하더라도, 전체 데이터 집합에 대한 부분집합이므로 투영 구조가 보존된다.

실험 부분에서는 과잉 파라미터화된 선형 회귀와 로지스틱 회귀, 그리고 대규모 언어 모델(LLM)의 마지막 레이어 미세조정을 통해 이론적 결과가 실제 학습에서도 관찰됨을 확인한다. 특히, 이질적인 데이터 분포에서도 로컬‑GD가 수백 번의 로컬 스텝을 수행해도 중앙 모델과 동일한 방향으로 수렴한다는 점이 실무적 중요성을 강조한다.

이 논문은 기존 문헌이 제시한 “로컬 스텝 수는 O(√T) 이하이어야 한다”는 제한을 완화하고, 과잉 파라미터화된 상황에서는 로컬 스텝 수가 크게 늘어나도 암묵적 편향이 유지된다는 새로운 관점을 제공한다. 이는 연합 학습(Federated Learning) 및 분산 최적화에서 통신 효율성을 크게 향상시킬 수 있는 이론적 근거를 제공한다.