도메인 편향 연합학습을 위한 특징 분리와 보정

초록

본 논문은 연합학습 환경에서 클라이언트마다 다른 도메인에 의해 발생하는 특징 편향을 완화하기 위해, 특징을 도메인‑강인(feature‑robust)과 도메인‑관련(feature‑related)으로 분리하고, 도메인‑관련 부분을 교정하는 두 단계 모듈(F​²DC)을 제안한다. 도메인 특징 디커플러(DFD)는 Gumbel‑Concrete 마스크를 이용해 각 피처 유닛의 도메인 강인성을 추정하고, 이를 기반으로 특징을 분리한다. 이후 도메인 특징 보정기(DFC)는 분리된 도메인‑관련 특징에 클래스‑정답 신호를 연결해 추가적인 의미 정보를 회복한다. 마지막으로 도메인‑인식 집계 방식을 적용해 전역 모델을 업데이트한다. 세 개의 다중 도메인 데이터셋 실험에서 기존 방법들을 크게 능가함을 보이며, 제안 모듈들의 기여도를 상세히 분석한다.

상세 분석

연합학습(Federated Learning, FL)에서는 각 클라이언트가 로컬 데이터를 이용해 모델을 업데이트하고, 서버가 이를 집계한다. 데이터가 서로 다른 도메인에서 수집될 경우, 동일한 클래스라 하더라도 입력 분포 P(x|y) 가 크게 달라지는 ‘도메인 스큐(domain skew)’ 현상이 발생한다. 기존 연구들은 주로 라벨 불균형에 초점을 맞추어 로컬 학습을 안정화하거나 전역 집계 방식을 조정했지만, 도메인 편향 자체를 제거하거나 억제하는 방식에 머물렀다. 이러한 접근은 도메인‑특정 특징에 포함된 유용한 클래스 정보를 손실시킬 위험이 있다.

F​²DC는 이 문제를 ‘보정(calibration)’이라는 새로운 관점에서 접근한다. 핵심은 로컬 피처를 두 종류로 분리하는데, 첫 번째는 ‘도메인‑강인(feature‑robust)’ 피처로, 이는 다양한 도메인에 걸쳐 일관된 클래스 구분 정보를 담는다. 두 번째는 ‘도메인‑관련(feature‑related)’ 피처로, 각 클라이언트 고유의 도메인 스타일(예: 스케치의 획, 사진의 색감)과 혼합된 정보를 포함한다.

도메인 특징 디커플러(DFD)는 입력 피처 맵 f_i 에 대해 2‑layer CNN 기반 어트리뷰션 네트워크 A_D 를 적용해 각 유닛의 강인성 점수 S_i 를 산출한다. 이 점수를 Gumbel‑Concrete 샘플링을 통해 연속적인 의사‑이진 마스크 M_i 로 변환함으로써 미분 가능성을 유지한다. M_i≈1인 위치는 도메인‑강인 피처 f_i⁺, M_i≈0인 위치는 도메인‑관련 피처 f_i⁻ 로 분리된다.

분리 과정에서 두 가지 손실을 동시에 최적화한다. 첫 번째는 ‘분리성(separability)’ 손실로, 코사인 유사도 s(l_i⁺, l_i⁻) 를 최소화해 두 피처 집합이 서로 다른 방향을 갖도록 한다. 여기서 l_i⁺, l_i⁻ 는 각각 f_i⁺, f_i⁻ 를 풀링·플래튼 후 얻은 d‑차원 임베딩이다. 두 번째는 ‘판별성(discriminability)’ 손실로, MLP m을 통해 각각의 임베딩을 클래스 로짓으로 변환하고, 정답 라벨 y_i 와 가장 높은 확신을 가진 오답 라벨 b_y_i 에 대해 교차 엔트로피를 적용한다. 온도 파라미터 τ는 표현의 집중도를 조절한다.

DFD만으로는 도메인‑관련 피처에 섞여 있는 유용한 클래스 단서를 완전히 분리하지 못한다. 따라서 도메인 특징 보정기(DFC)가 도입된다. DFC는 f_i⁻ 를 입력으로 받아, 클래스‑조건부 어텐션 메커니즘과 추가적인 정규화 층을 거쳐 ‘보정된’ 피처 f_i★ 를 생성한다. 이 과정에서 원본 로컬 라벨 정보를 명시적으로 연결함으로써, 도메인‑관련 피처에 남아 있는 유용한 신호를 재활성화한다. 최종 로컬 표현은 f_i⁺와 f_i★ 를 결합해 사용되며, 이는 도메인‑강인 피처와 보정된 도메인‑관련 피처가 상호 보완하도록 설계되었다.

전역 집계 단계에서는 각 클라이언트의 도메인 차이를 정량화한 p_k (예: 도메인 별 특성 분산) 를 가중치로 활용한 ‘도메인‑인식 집계’를 수행한다. 이는 FedAvg와 유사하지만, 클라이언트별 파라미터 업데이트에 도메인 차이 가중치를 곱해 보다 공정하고 일관된 글로벌 모델을 만든다.

실험에서는 PACS, Office‑Home, DomainNet 등 세 가지 멀티‑도메인 벤치마크를 사용해 F​²DC가 기존 최첨단 방법(FedAvg, FedProx, FDSE 등)을 크게 앞선다. 특히, 도메인‑특정 클래스(예: 그림체에 따라 달라지는 동물의 형태)에 대한 정확도가 크게 향상되었으며, 특잇값 분포 분석을 통해 피처 공변량 행렬의 차원 붕괴가 완화된 것을 시각적으로 확인했다. Ablation study에서는 DFD와 DFC 각각을 제거했을 때 성능이 급격히 떨어짐을 보여, 두 모듈이 상호 보완적으로 작동함을 입증한다.

전반적으로 F​²DC는 도메인 스큐 상황에서 피처를 ‘분리 → 보정 → 결합’하는 파이프라인을 제시함으로써, 도메인 편향을 억제하면서도 유용한 클래스 정보를 보존·활용한다는 점에서 의미가 크다. 다만 마스크 학습에 추가적인 Gumbel‑Concrete 샘플링 비용과, DFC의 설계가 특정 네트워크 구조에 의존할 가능성이 있어, 경량화 및 다양한 백본에 대한 일반화 검증이 향후 과제로 남는다.