다단계 적응형 개인화로 다중 작업·다중 모달 파운데이션 모델을 연합 학습에 적용

초록

본 논문은 연합 학습 환경에서 서로 다른 데이터 모달리티와 작업을 가진 클라이언트들을 위해, 서버와 클라이언트 간 모델 구조가 불일치하는 상황에서도 효과적으로 파운데이션 모델을 개인화할 수 있는 두 단계 적응형 개인화(TAP) 프레임워크를 제안한다. 첫 단계에서는 클라이언트가 로컬 손실과 사전 정의된 마진을 기준으로 서버 모델의 일부 파라미터를 선택적으로 교체하고, 두 번째 단계에서는 서버 모델을 교사로 활용한 지식 증류를 통해 전반적인 일반성을 보존하면서 개인화 성능을 향상시킨다. 또한, 서버 측 모델의 수렴성을 다중 모달·다중 작업 아키텍처 관점에서 분석하고, 실험을 통해 기존 개인화 기법들을 능가함을 입증한다.

상세 분석

TAP은 연합 학습(Federated Learning, FL)에서 파운데이션 모델을 개인화하는 두 가지 핵심 메커니즘을 결합한다. 첫 번째 메커니즘은 “적응형 교체(Adaptive Replacement)”이다. 클라이언트는 로컬에서 두 개의 모델을 유지한다. 하나는 전통적인 FL 프로토콜에 따라 서버와 파라미터를 주고받는 f W