FedSKD 의료 영상 분류를 위한 집합형 지식 증류 기반 무중앙 모델 이질성 연합 학습

초록

FedSKD는 중앙 서버 없이 라운드‑로빈 방식으로 서로 다른 구조의 모델을 순환시키며, 배치·픽셀·영역 수준의 다차원 유사성 지식 증류(B‑SKD, P‑SKD, R‑SKD)를 수행한다. 이를 통해 모델 드리프트와 지식 희석을 완화하고, 비동질 데이터 환경에서도 개인화 정확도와 교차 기관 일반화를 동시에 향상시킨다.

상세 분석

FedSKD는 기존 모델 이질성 연합 학습(MHFL)에서 중앙 집계에 의존하거나 부분적으로 동일한 아키텍처를 요구하는 한계를 근본적으로 탈피한다. 핵심 아이디어는 ‘지식 전송 모델(KTM)’을 각 클라이언트가 순환적으로 받아들이고, 자신의 ‘도메인 적응 모델(DAM)’과 양방향으로 지식을 교환하는 것이다. 이 과정에서 제안된 다차원 유사성 지식 증류(SK​D) 메커니즘은 세 단계로 구성된다. 첫째, 배치‑단위 SKD(B‑SKD)는 서로 다른 클라이언트에서 추출된 배치 특성 분포를 정규화하여 전역적인 학습 신호를 일치시킨다. 둘째, 픽셀·볼륨‑단위 SKD(P‑SKD)는 공간적·볼륨적 특징 맵의 유사성을 코사인 유사도 혹은 평균 제곱 차이로 정량화해, 해부학적 구조가 다른 모델이라도 동일한 영역에 대한 표현을 정렬한다. 셋째, 영역‑단위 SKD(R‑SKD)는 사전 정의된 해부학적 ROI(예: 뇌 피질, 피부 병변) 내에서 클래스별 평균 특징을 비교함으로써 임상적으로 의미 있는 영역 간 지식 공유를 촉진한다. 이러한 다중 스케일 정렬은 특징 공간을 지속적으로 재조정해 ‘지식 희석(knowledge dilution)’을 방지하고, 각 클라이언트가 새로운 데이터에 적응하면서도 이전 클라이언트에서 습득한 정보를 유지하도록 만든다.

알고리즘 흐름은 매 라운드마다 무작위 순열 Oₜ를 생성해 모델 전송 경로를 정의하고, 각 클라이언트는 (i) 자신이 보유한 DAM을 로컬 데이터 Dᵢ로 사전 학습, (ii) 전달받은 KTM을 이용해 B‑SKD·P‑SKD·R‑SKD 기반 양방향 증류를 수행한다. 증류 손실은 (①) DAM→KTM의 도메인 특화 지식 주입, (②) KTM→DAM의 교차 클라이언트 지식 흡수, (③) 각 모델의 자체 라벨 손실을 가중합한 형태이며, λ₁·λ₂·λ₃ 등 가중치로 균형을 맞춘다. 이렇게 얻어진 강화된 KTM은 다음 클라이언트로 전달되고, DAM은 업데이트된 파라미터를 유지한다.

FedSKD는 모델 파라미터 자체를 직접 교환하지 않으면서도 특징 수준에서의 지식 교환을 가능하게 하므로, 아키텍처가 완전히 다른 CNN, Transformer, 3‑D ConvNet 등에서도 적용 가능하다. 또한 라운드‑로빈 순환 구조는 통신 복잡도를 O(N)로 유지하면서도 중앙 서버의 병목 현상을 제거한다. 실험에서는 fMRI 기반 자폐 스펙트럼 장애 진단(ABIDE)과 피부 병변 분류(ISIC) 두 데이터셋에 대해 FedSKD가 기존 중앙집계 기반 MHFL(FedAvg, FedProx, FedBN) 및 기존 P2P FL(Sequential, Gossip)보다 평균 35% 높은 개인화 정확도와 24% 향상된 교차 기관 일반화를 기록했다. 특히, B‑SKD만 사용했을 때보다 전체 SKD를 적용했을 때 모델 드리프트가 40% 감소하고, 지식 희석 현상이 현저히 완화되는 것이 확인되었다.

요약하면, FedSKD는 (1) 완전한 모델 이질성을 허용하면서도 중앙 서버 없이 협업을 가능하게 하고, (2) 다차원 특징 정렬을 통한 양방향 지식 증류로 비동질 데이터 환경에서의 수렴 안정성을 크게 개선한다는 점에서 의료 영상 연합 학습에 새로운 패러다임을 제시한다.