이기종 분산 연합 학습을 위한 Hessian 기반 가중치 집계

초록

본 논문은 데이터와 모델 초기화의 이기종성을 고려한 분산 연합 학습(DFL) 환경에서, 각 클라이언트의 파라미터별 중요도를 Hessian 대각선값으로 추정해 가중치를 부여하고, 이를 이용해 이웃 모델을 정교히 집계하는 DecHW(Decentralized Hessian‑Weighted) 방식을 제안한다. 실험 결과, 기존 파라미터 평균 방식에 비해 수렴 속도가 크게 향상되고 통신 비용이 감소함을 확인하였다.

상세 분석

DecHW는 DFL(Decentralized Federated Learning)에서 흔히 발생하는 데이터 이질성 및 모델 초기화 차이로 인한 파라미터 불일치를 해결하기 위해 두 번째 차수 정보를 활용한다. 기존의 서버 기반 FL에서는 전체 데이터 양에 비례한 스칼라 가중치(예: FedAvg)만을 적용해 파라미터를 평균화한다. 그러나 DFL에서는 각 노드가 서로 다른 초기값과 학습 상태를 가지고 있어, 단순 평균은 중요한 파라미터와 그렇지 않은 파라미터를 구분하지 못한다. DecHW는 각 노드에서 로컬 손실 함수의 Hessian 대각선값을 근사하여 파라미터별 곡률(민감도)을 추정한다. 큰 Hessian 값은 해당 파라미터가 현재 손실에 크게 기여하고 있음을 의미하므로, 집계 시 높은 가중치를 부여한다. 반대로 작은 값은 평탄한 영역에 있거나 과적합된 파라미터로 간주해 낮은 가중치를 적용한다.

핵심 기술은 다음과 같다.

1. Hessian 대각선 근사: 전체 Hessian을 계산하는 비용이 prohibitive하므로, Gauss‑Newton 근사를 이용해 Jacobian을 통해 대각선만을 효율적으로 추정한다. 이는 각 라운드마다 로컬 SGD 업데이트와 함께 가볍게 계산될 수 있다.
2. 가중치 정규화: 이웃 노드 집합 𝒩ᵢ에 대해 각 파라미터별 가중치 wᵢⱼ(p) = Hⱼ,diag(p) / Σₖ∈𝒩ᵢ∪{i} Hₖ,diag(p) 로 정규화한다. 이렇게 하면 전체 가중치 합이 1이 되며, 데이터 양에 기반한 기존 스칼라 가중치와는 독립적으로 파라미터 중요도를 반영한다.
3. 분산 집계 연산: 각 노드는 자신과 이웃의 파라미터를 위 가중치로 스칼라 곱한 뒤 합산한다. 이는 기존 ψ 함수(식 3)를 파라미터‑레벨 가중치 버전으로 확장한 형태이며, 통신량은 파라미터 자체만 전송하므로 기존와 동일하거나 약간 증가한다.
4. 안정성 메커니즘: Hessian 값이 급격히 변동하거나 0에 가까워지는 경우를 방지하기 위해 ε‑스무딩 및 클리핑을 적용한다. 또한, 라운드마다 가중치 추세를 추적해 급격한 변화를 완화한다.

실험에서는 CIFAR‑10, MNIST 등 이미지 분류 벤치마크를 사용해, 동일 초기화(DecHomo)와 이질 초기화(DecHetero) 상황을 비교하였다. 결과는 다음과 같다.

• 수렴 속도: DecHW는 3040 라운드 내에 80% 이상의 정확도에 도달했으며, 기존 파라미터 평균 방식은 6080 라운드가 필요했다.
• 통신 효율: 동일 정확도 달성 시 필요한 라운드 수가 감소함에 따라 전체 전송량이 약 30% 절감되었다.
• 이질성 내성: 모델 초기화가 크게 다를 때도 DecHW는 안정적인 성능을 유지했으며, 특히 데이터 분포가 비균형한 경우에도 정확도 저하가 최소화되었다.

이러한 결과는 파라미터‑레벨의 곡률 정보를 활용함으로써, 각 노드가 자신의 로컬 데이터에 가장 민감한 파라미터를 강조하고, 덜 중요한 파라미터는 억제하는 효과적인 “증거 기반” 집계가 가능함을 시사한다. 또한, 서버가 없는 완전 분산 환경에서도 추가적인 동기화 없이 로컬 Hessian 정보를 교환함으로써, 기존 방법 대비 구현 복잡도와 비용이 크게 증가하지 않는다.

한계점으로는 Hessian 대각선 근사의 정확도가 모델 규모가 커질수록 떨어질 수 있다는 점과, 매우 고차원 파라미터(예: 대형 Transformer)에서는 근사 비용이 여전히 부담이 될 수 있다는 점을 들 수 있다. 향후 연구에서는 저차원 서브스페이스에 대한 곡률 추정, 혹은 압축된 Hessian 요약 정보를 이용한 가중치 설계가 고려될 수 있다.