한 번에 끝내는 증분 연합 학습 기억 손실 방지 프레임워크

초록

OSI‑FL은 클라이언트가 각 카테고리별 임베딩만을 한 번 전송하고, 서버는 사전 학습된 diffusion 모델로 해당 카테고리 데이터를 합성한다. 합성된 데이터와 과거 작업에서 선택된 상위 p개의 중요 샘플을 이용해 모델을 순차적으로 업데이트함으로써 통신 비용을 최소화하고, 선택적 샘플 유지(SSR) 기법으로 증분 학습 시 발생하는 catastrophic forgetting을 완화한다. 실험 결과는 클래스‑증분 및 도메인‑증분 설정 모두에서 기존 FL·IFL·OSFL 대비 우수함을 보여준다.

상세 분석

본 논문은 연합 학습(Federated Learning)과 증분 학습(Incremental Learning)이라는 두 가지 실용적 제약을 동시에 만족시키는 새로운 프레임워크 OSI‑FL(One‑Shot Incremental Federated Learning)을 제안한다. 기존 FL은 다수 라운드에 걸친 모델 파라미터 교환을 전제로 하며, 데이터가 정적이라고 가정한다. 반면 증분 FL은 새로운 작업이 도착할 때마다 모델을 재학습하지만, 매 라운드마다 클라이언트와 서버 간의 통신이 발생해 비용이 급증한다. OSI‑FL은 이러한 문제를 ‘한 번의 통신(One‑Shot)’으로 해결한다. 구체적으로 각 클라이언트는 사전 학습된 비전‑언어 모델(VLM, 여기서는 CLIP + GPT‑ViT 조합)을 이용해 카테고리별 텍스트 설명을 생성하고, 이를 512‑차원 임베딩으로 변환한다. 이 임베딩은 평균을 취해 클래스‑레벨 대표 벡터 µ_{c,t,k} 로 만든 뒤, 한 번만 서버에 전송한다. 서버는 사전 학습된 diffusion 모델(p_ϕ) 을 조건부 생성기(classifier‑free guidance)로 활용해 µ_{c,t,k} 를 조건으로 각 클래스에 대한 합성 이미지 ˆD_{t,k} 를 대량 생성한다. 이렇게 생성된 데이터는 실제 클라이언트 데이터와 통계적으로 유사하도록 설계돼, 중앙에서 모델을 학습할 수 있게 만든다.

증분 학습 과정에서 발생하는 catastrophic forgetting을 방지하기 위해 저자는 Selective Sample Retention(SSR)이라는 샘플 재현 메커니즘을 도입한다. 각 작업 t 에 대해 합성 데이터 ˆD_t 를 이용해 모델을 업데이트한 뒤, 손실 함수의 그라디언트 크기 ‖∇θ ℓ‖ 를 중요도 점수 s_i 로 정의한다. 클래스 k 별로 상위 p개의 샘플을 선택해 E{t,k} 를 구성하고, 이 샘플들을 앞으로의 작업에서도 재현 데이터로 유지한다. SSR은 (1) 클래스 균형을 보장하는 샘플 수 p 유지, (2) 그라디언트 기반 중요도 선택을 통해 학습에 가장 기여하는 샘플만 보존함으로써 메모리와 연산 비용을 크게 절감한다는 두 가지 장점을 가진다.

실험에서는 NICO Common, NICO Unique, OpenImage 세 가지 벤치마크를 사용해 클래스‑증분(class‑incremental)과 도메인‑증분(domain‑incremental) 시나리오를 모두 평가한다. 비교 대상에는 전통적인 FedAvg, EWC 기반 연합 학습, 기존 One‑Shot FL(OSFL) 방법(예: OSCAR) 등이 포함된다. 결과는 OSI‑FL이 통신 라운드 수를 클라이언트당 1회로 제한하면서도, 평균 정확도와 마지막 작업에서의 성능 유지 측면에서 기존 방법들을 크게 앞선다. 특히 SSR을 적용하지 않은 경우와 비교했을 때, 과거 작업에 대한 정확도 감소가 현저히 억제되는 것이 확인된다.

이 논문은 (1) 임베딩 기반 데이터 합성으로 통신 비용을 최소화, (2) diffusion 모델을 활용한 고품질 합성 데이터 생성, (3) 그라디언트 기반 선택적 샘플 유지로 기억 손실을 완화한다는 세 가지 핵심 기여를 제시한다. 또한, VLM과 diffusion 모델을 각각 클라이언트와 서버에 배치함으로써 연산 부하를 효율적으로 분산시키고, 실제 프라이버시‑민감한 환경에서도 적용 가능하도록 설계된 점이 실용적이다. 향후 연구에서는 다양한 모달리티(예: 텍스트, 시계열)와 비동기식 클라이언트 참여, 그리고 합성 데이터의 품질을 자동으로 평가·조정하는 메커니즘을 추가하면 더욱 일반화된 증분 연합 학습 시스템을 구축할 수 있을 것으로 기대된다.