대형·소형 언어 모델을 위한 연합 공동 튜닝 프레임워크

초록

**
FedCoLLM은 서버에 배치된 대형 언어 모델(LLM)과 클라이언트의 소형 언어 모델(SLM) 사이에 지식 교환을 가능하게 하는 연합 학습 기반 프레임워크이다. 경량 LoRA 어댑터와 상호 지식 증류를 활용해 데이터 프라이버시를 유지하면서 양쪽 모델을 동시에 향상시킨다. 실험 결과, SLM은 LLM의 도움으로 성능이 크게 상승하고, LLM도 클라이언트 데이터로부터 얻은 도메인 지식을 통해 직접 파인튜닝한 수준에 근접한다.

**

상세 분석

**
FedCoLLM은 기존 연합 학습(Federated Learning)과 파라미터 효율적 파인튜닝(Parameter‑Efficient Fine‑Tuning, PEFT)을 결합한 새로운 공동 튜닝 메커니즘을 제시한다. 서버는 GPT‑2, OPT, LLaMA‑2 등 공개된 대형 모델을 보유하고, 각 클라이언트는 LLaMA‑2‑1.3B와 같은 소형 모델을 로컬에 배치한다. 핵심 아이디어는 양쪽 모델에 경량 LoRA 어댑터를 삽입하고, 클라이언트는 자신의 도메인 데이터로 어댑터만을 로컬 학습한다. 이때 원본 모델 파라미터는 고정되어 통신량을 크게 줄인다.

클라이언트가 로컬 어댑터를 업데이트하면 SecureAggregation을 통해 암호화된 형태로 서버에 전송되고, 서버는 이를 평균하여 전역 어댑터 θ를 재구성한다. 이후 서버는 자체 LLM에 별도의 LoRA 어댑터 ω를 삽입하고, 보조 데이터셋 Dₐ를 이용해 두 모델 간 상호 지식 증류(Knowledge Distillation)를 수행한다. 증류 손실은 KL 발산을 기반으로 하며, 교차 엔트로피 손실과 가중치 λ으로 조절되는 복합 목표를 최적화한다. 이 과정에서 LLM은 클라이언트들의 도메인 특성을 학습하고, SLM은 LLM이 보유한 일반 언어 지식을 흡수한다.

연산 복잡도 측면에서 FedCoLLM은 전체 모델 파라미터 대신 어댑터 파라미터(수백만 수준)만을 교환하므로 통신 비용이 기존 연합 파인튜닝 대비 10배 이상 절감된다. 또한 서버 측 증류 과정은 한 번의 배치 학습으로 끝나며, 클라이언트는 로컬 GPU 메모리 제한 내에서 어댑터만 학습하므로 자원 효율성이 높다.

프라이버시 보호는 두 단계에서 강화된다. 첫째, 원본 데이터는 절대 서버에 전송되지 않으며, 어댑터 업데이트만이 암호화된 형태로 공유된다. 둘째, 증류에 사용되는 보조 데이터셋은 공개된 일반 데이터이거나 서버가 사전에 준비한 비식별화된 데이터이므로, 클라이언트의 민감 정보가 노출될 위험이 없다.

실험에서는 네 개의 클라이언트와 하나의 서버 환경을 구성하고, 텍스트 생성, 요약, 질의응답 등 다양한 NLP 태스크에 대해 성능을 평가하였다. 결과는 SLM이 LLM의 어댑터를 활용했을 때 BLEU, ROUGE, Exact Match 등 주요 지표에서 평균 4~7% 상승했으며, LLM은 FedCoLLM을 통해 직접 파인튜닝한 경우와 거의 동일한 성능을 보였다. 특히, 연산 및 통신 비용은 기존 연합 파인튜닝 대비 30% 이하로 감소하였다.

한계점으로는 보조 데이터셋 Dₐ의 품질에 따라 증류 효과가 좌우될 수 있다는 점과, 현재 구현이 텍스트 생성 중심의 태스크에 최적화돼 있어 구조화된 입력(예: 표, 코드)에는 추가 연구가 필요하다는 점을 들 수 있다. 향후 연구에서는 멀티모달 데이터와 더 복잡한 도메인 적응 시나리오를 다루는 확장이 기대된다.

**