동적 토폴로지 최적화로 비IID 분산 학습 성능 극대화

초록

Morph는 모델 간 차이를 최대화하도록 피어를 선택하는 동적 토폴로지 최적화 알고리즘이다. 고정된 인디그리를 유지하면서 코사인 유사도로 모델 다양성을 측정하고, 소프트맥스 기반 확률 선택과 무작위 샘플링을 결합해 그래프 연결성을 보장한다. CIFAR‑10과 FEMNIST에서 비IID 환경 하에 정적·에피데믹 기반 방법들을 지속적으로 앞서며, 완전 연결 상한에 근접한 정확도와 빠른 수렴을 달성한다.

상세 분석

Morph는 분산 학습 환경에서 비IID 데이터가 존재할 때 정적인 통신 토폴로지가 초래하는 정보 교환 부족 문제를 해결하기 위해 설계되었다. 핵심 아이디어는 각 노드가 자신의 로컬 모델과 다른 노드들의 모델 간 코사인 유사도를 계산·추정하여, “가장 이질적인” 피어와의 모델 교환을 우선시하는 것이다. 코사인 유사도는 레이어별 파라미터 벡터를 정규화한 뒤 평균을 취함으로써 규모에 독립적이며 계산 비용이 낮다. 직접 모델을 접할 수 없는 경우, 중간 피어를 통한 전이 추정(θ‑inequality 기반)을 사용해 근사값을 얻는다.

노드들은 일정 라운드마다(Δr) 원하는 송신자를 업데이트한다. 이때 후보 집합 C_A에서 소프트맥스 확률 p_j = exp(−β·sim(w,w_j))/∑exp(−β·sim) 로 샘플링해 k개의 피어를 순차적으로 선택한다. β 파라미터는 선택의 확률적 급격함을 조절해, 높은 β는 가장 이질적인 피어에 집중하도록 만든다. 선택된 피어는 ‘입력 연결’(in‑degree)로 고정되며, 각 노드의 인디그리는 변하지 않아 고립이나 과적합을 방지한다.

동시에 그래프가 클러스터링되어 전역 혼합이 차단되는 위험을 완화하기 위해, 후보 집합에 무작위 샘플 R을 추가한다. 이는 편향된 유사도 기반 선택과 균등 무작위 선택을 결합한 두 단계 피어‑샘플링 프로토콜이며, O(log n) 메시지 복잡도로 전체 연결성을 유지한다. 또한, 송신자(아웃‑degree) 제한을 대학 입시 매칭 알고리즘에 비유한 방식으로 구현해, 기존 연결이 더 높은 이질성을 제공하면 교체하고, 그렇지 않으면 기존 연결을 유지한다.

실험에서는 CIFAR‑10과 FEMNIST를 Dirichlet(α) 분포로 비IID하게 파티셔닝하고, 50·100 노드 시나리오에서 기존 정적 토폴로지, Epidemic Learning, 그리고 완전 연결(upper bound)과 비교하였다. Morph는 테스트 정확도에서 1.12배(CIFAR‑10)·1.08배(FEMNIST) 향상을 보였으며, 수렴 속도와 노드 간 분산(variance)에서도 우수했다. 특히 0.5% 이내로 상한과 격차를 줄였고, 통신 라운드 수도 감소시켰다.

한계점으로는 코사인 유사도 추정 시 전이 오류가 누적될 가능성, 그리고 β·Δr 등 하이퍼파라미터 튜닝이 필요함을 들 수 있다. 향후 연구에서는 보다 견고한 유사도 추정 방법, 동적 β 스케줄링, 그리고 악의적 피어 공격에 대한 방어 메커니즘을 탐색할 여지가 있다.