연합 다중작업을 위한 공동표현 학습: Muscle 손실과 FedMuscle 알고리즘

초록

**
본 논문은 모델 구조와 작업이 서로 다른 사용자들을 위한 연합 다중작업 학습(FMTL) 프레임워크를 제안한다. 핵심 아이디어는 각 사용자의 모델 파라미터를 공유하는 대신, 공통의 표현 공간을 학습하는 것이다. 이를 위해 다중 모델 간 상호 정보를 최대화하는 새로운 대조 학습 손실인 Muscle loss를 설계하고, 이를 기반으로 통신 효율이 높은 FedMuscle 알고리즘을 구현한다. 실험 결과, 이미지와 텍스트 등 이질적인 태스크에서 기존 최첨단 방법들을 지속적으로 능가한다.

**

상세 분석

**
본 연구는 연합 학습(Federated Learning) 환경에서 모델 이질성(model heterogeneity)과 작업 이질성(task heterogeneity)을 동시에 다루는 첫 번째 시도 중 하나이다. 기존 FMTL 접근법은 보통 동일하거나 부분적으로 동일한 모델 구조를 전제하고, 공유 인코더와 개별 헤드 형태로 지식을 전이한다. 그러나 실제 서비스에서는 사용자가 선택할 수 있는 사전학습된 파운데이션 모델이 다양하고, 각 작업에 맞는 맞춤형 헤드가 필요하기 때문에 이러한 가정은 현실과 괴리된다.

논문은 “공통 표현 공간(shared representation space)”을 학습 목표로 재정의한다. 이를 위해 Muscle loss라는 새로운 대조 학습 목표를 도입한다. 기존 InfoNCE 기반 손실은 두 모델(또는 두 뷰) 사이의 상호 정보를 최대화하는데 그치며, N‑tuple(다중 모델) 상황에서는 모든 모델 간의 종속성을 포착하지 못한다. Muscle loss는 앵커 모델의 표현을 기준으로, 나머지 N‑1 모델의 동일 샘플 표현을 모두 긍정(N‑tuple)으로, 하나라도 다른 샘플을 포함하는 조합을 부정(N‑tuple)으로 정의한다.

수식적으로는
\