연합 로라와 드롭아웃을 이용한 일반화 LLM 파인튜닝

초록

**
FedLoDrop은 연합 학습 환경에서 LoRA 기반 파인튜닝에 행·열 드롭아웃을 적용해 모델 희소성을 높이고 과적합을 완화한다. 이론적으로 점별 가설 안정성(PHS)과 일반화 오차 상한을 분석하고, 드롭아웃 비율과 통신·에너지 제약을 동시에 고려한 최적화 문제를 제시한다. 전역 최적을 위한 Branch‑and‑Bound와 저복잡도 P‑SCA 알고리즘을 제안하며, RoBERTa‑large와 LLaMA‑7B를 GLUE·MMLU 벤치마크에 적용해 일반화 성능과 통신 비용 감소를 입증한다.

**

상세 분석

**
FedLoDrop은 기존 연합 LoRA(FedA‑vg, FedLoRA 등)의 구조를 그대로 유지하면서, 각 클라이언트가 로라의 저‑랭크 행렬 A와 B에 대해 행·열 단위 드롭아웃을 수행한다는 점에서 차별화된다. 드롭아웃 비율 γ 가 클수록 활성화된 파라미터 수가 (1‑γ)배로 감소해 전송량과 연산량이 동시에 절감되며, 이는 제한된 엣지 디바이스 환경에서 실질적인 이점을 제공한다.

이론적 분석에서는 점별 가설 안정성(PHS)을 도입해 드롭아웃이 모델 복잡도(희소성)와 경험적 손실 사이의 트레이드오프에 미치는 영향을 정량화한다. 구체적으로, 드롭아웃이 증가하면 파라미터 행렬의 유효 차원이 감소해 PHS 상한이 낮아지고, 이는 일반화 오차와 경험적 오차 사이의 격차(gap)를 축소한다. 그러나 동시에 학습에 사용 가능한 자유도가 감소해 경험적 손실이 상승할 수 있다. 논문은 이 두 요소를 합산한 전체 일반화 오차가 드롭아웃 비율에 대한 볼록 형태의 상한을 갖는다고 증명하고, 최적의 γ 값이 과소적합과 과적합 사이의 균형점에 있음을 보여준다.

수렴 분석에서는 드롭아웃 비율이 높아질수록 기대 수렴 속도가 느려짐을 밝혀, 학습 라운드 수와 통신 지연 사이의 상호작용을 고려해야 함을 강조한다. 이를 바탕으로 논문은 “일반화 오차 상한 최소화 + 지연·에너지 제약 만족”이라는 복합 최적화 문제를 수식화한다. 변수는 각 디바이스별 드롭아웃 비율 γ_k 와 할당된 서브캐리어·전송 전력 등 자원 변수이며, 제약식은 전체 서브캐리어 수, 라운드당 최대 지연, 그리고 디바이스별 에너지 소비 한도를 포함한다.

전역 최적을 찾기 위해 Branch‑and‑Bound(B&B) 알고리즘을 설계했으며, 이는 이산·연속 변수 혼합 문제에 대해 전역 최적 해를 보장한다. 그러나 B&B는 복잡도가 급격히 증가하므로, 실시간 적용을 위해 Penalized Successive Convex Approximation(P‑SCA) 기반의 저복잡도 서브옵티멀 알고리즘을 제안한다. P‑SCA는 비선형 제약을 순차적으로 볼록화하고, 페널티 항을 통해 제약 위반을 점진적으로 감소시키며, 수렴 속도가 빠르고 구현이 간단하다.

실험에서는 RoBERTa‑large(355 M)와 LLaMA‑7B를 각각 GLUE와 MMLU 데이터셋에 파인튜닝하였다. 드롭아웃을 적용한 FedLoDrop은 동일 라운드·에포크 수에서 베이스 연합 LoRA 대비 테스트 정확도가 평균 2‑3%p 상승했으며, 전송 파라미터 양은 (1‑γ)배로 감소했다. 특히, 네트워크 대역폭이 제한된 시나리오에서 지연 허용량을 늘리면 각 디바이스가 낮은 γ 값을 사용할 수 있어 경험적 손실이 감소하고 전체 성능이 크게 향상되는 것을 확인했다.

요약하면, FedLoDrop은 (1) 모델 희소성을 통한 통신·연산 절감, (2) 드롭아웃 기반 일반화 향상, (3) 시스템 자원과 학습 하이퍼파라미터를 공동 최적화하는 세 가지 핵심 기여를 제공한다. 이 접근법은 대규모 LLM을 엣지 환경에 안전하게 배포하고, 데이터 프라이버시를 유지하면서도 높은 일반화 성능을 달성하고자 하는 실제 서비스에 바로 적용 가능하다.

**