연합 학습을 위한 K‑시드 랜덤 서브스페이스 최적화: 메모리·통신 효율을 겸비한 LLM 파인튜닝

초록

FedKRSO는 서버가 생성한 K개의 랜덤 시드 기반 저차원 서브스페이스에 모델 업데이트를 제한함으로써, 클라이언트의 메모리 사용량과 통신량을 크게 줄이면서도 전체 파라미터 파인튜닝(FFT) 수준의 성능을 달성한다. 압축된 그라디언트를 서브스페이스에 투사하고, 서브스페이스별 누적 업데이트만을 전송·집계하는 구조를 제안하고, 비볼록 손실 및 데이터 이질성 하에서 수렴 속도를 이론적으로 분석한다. GLUE 벤치마크 실험에서 LoRA 기반 연합 방법보다 높은 정확도와 10배 이상 감소된 통신·메모리 비용을 기록한다.

상세 분석

FedKRSO는 기존 PEFT(예: LoRA)가 파라미터 수를 제한해 메모리와 통신을 절감하지만, 모델 표현력이 크게 감소한다는 한계를 극복하고자 설계되었다. 핵심 아이디어는 ‘K‑Seed Random Subspace Optimization’이다. 서버는 K개의 난수 시드 S={s₁,…,s_K}를 사전에 정의하고, 각 시드에 대응하는 랜덤 매트릭스 P_k∈ℝ^{r×d_n} (r≪d_n)를 생성한다. 클라이언트는 로컬 학습 시 매 인터벌마다 하나의 시드를 무작위로 선택해 해당 서브스페이스에 그라디언트를 투사한다. 구체적으로, 전체 그라디언트 ∇f_n(W)를 직접 계산하지 않고, 압축된 형태 G_B = ∇̂f_n(W)·P_k^⊤를 얻는다. 이때 P_k는 E