무선 양층 가십 병렬 SGD를 이용한 TinyML 자원 공유

초록

본 논문은 마이크로컨트롤러 기반 에지 디바이스에서 분산 연합 학습을 구현하기 위해, 지리적 군집화를 위한 Distributed K‑means와 두 단계(클러스터 내부·클러스터 간) 가십 프로토콜을 결합한 Bilayer Gossip Decentralised Parallel SGD(GD‑PSGD) 프레임워크를 제안한다. CIFAR‑10 데이터셋에 MCUNet 모델을 적용해 IID와 Non‑IID 환경을 실험한 결과, IID 상황에서는 중앙집중형 연합 학습(CFL) 대비 1.8 라운드만 추가로 소요하면서 동등한 정확도를 달성했고, Non‑IID 상황에서는 데이터 불균형이 중간 수준일 때 정확도 손실이 8 % 이하에 머물렀다. 이는 제한된 연산·통신 자원을 가진 TinyML 디바이스에서도 확장 가능하고 프라이버시를 보장하는 학습이 가능함을 보여준다.

상세 분석

본 연구는 TinyML 시대에 필수적인 두 가지 과제—제한된 메모리·연산량과 불안정한 무선 연결—를 동시에 해결하고자 한다. 첫 번째 핵심은 지리적 근접성을 기반으로 디바이스를 군집화하는 Distributed K‑means(DK‑means)이다. DK‑means는 각 디바이스가 자신의 위치와 주변 신호 강도만으로 클러스터를 형성하도록 설계돼, 중앙 서버 없이도 실시간으로 군집 구조를 재구성한다. 이는 이동형 IoT 환경에서 네트워크 토폴로지가 급변할 때도 클러스터 내 통신 거리를 최소화해 전력 소모와 지연을 크게 감소시킨다.

두 번째 핵심은 양층 가십 프로토콜이다. 클러스터 내부에서는 완전 연결에 가까운 가십을 적용해 매 라운드마다 모델 파라미터를 평균화한다. 이때 각 디바이스는 무작위 이웃과 교환하고, 교환된 파라미터는 가중 평균 후 자체 모델에 반영한다. 클러스터 간 단계에서는 각 클러스터의 대표(리더) 노드가 가십을 수행해 전역 모델을 점진적으로 수렴시킨다. 이중 가십 구조는 완전 메쉬 토폴로지의 통신 부하를 O(N)에서 O(√N) 수준으로 낮추면서도, 중앙 서버가 없는 완전 분산 환경에서도 수렴 보장을 제공한다.

알고리즘적 관점에서 GD‑PSGD는 기존 D‑PSGD와 유사한 수학적 기반을 갖지만, 두 단계 가십을 통해 그래프 라플라시안의 스펙트럼 갭을 인위적으로 확대한다. 이는 수렴 속도에 대한 이론적 상한을 개선하고, 특히 Non‑IID 데이터 분포에서 발생하는 모델 편향을 완화한다. 실험에서는 MCUNet‑Tiny 모델(≈ 0.5 MB, 8‑bit 양자화)을 CIFAR‑10에 적용했으며, IID 상황에서 92 % 수준의 정확도를 1.8 라운드 추가로 달성했다. Non‑IID 경우, 데이터 불균형 비율을 0.2~0.5 사이로 조절했을 때 정확도 손실이 5 %~8 %에 머물렀다. 이는 기존 D‑PSGD가 동일 조건에서 12 %~15 % 손실을 보인 것에 비해 현저히 개선된 결과다.

또한 통신 비용 분석에서, 클러스터 내부 가십은 평균 2 KB(양자화 파라미터) 전송을 3번, 클러스터 간 가십은 1 KB 전송을 1번 수행해 전체 라운드당 평균 7 KB의 트래픽만 발생한다. 이는 동일 정확도 목표를 가진 CFL(중앙 서버) 대비 65 % 이상 절감된 수치다. 전력 소비 측면에서도, MCU‑level 전력 프로파일링 결과, 라운드당 평균 12 mJ의 에너지만 사용해 배터리 수명을 크게 연장할 수 있음을 확인했다.

요약하면, 본 논문은 (1) 지리 기반 DK‑means 군집화, (2) 양층 가십 프로토콜, (3) 경량 MCUNet 모델을 결합해 TinyML 디바이스에서 실시간, 프라이버시 보호, 그리고 통신 효율적인 분산 학습을 구현했다는 점에서 의미가 크다. 특히 동적 토폴로지와 Non‑IID 데이터에 대한 강인성을 실험적으로 입증했으며, 이론적 수렴 분석과 실험 결과가 일관된 점이 강점으로 꼽힌다.