HybridVFL: 엣지 환경 수직 연합 학습을 위한 분리형 특징 학습

초록

본 논문은 의료 영상과 전자의무기록(EHR) 등 이질적인 모달리티를 보유한 엣지 디바이스에서 개인정보를 보호하면서도 높은 분류 성능을 달성하기 위해, 클라이언트 측에서 특징을 불변(invariant)과 특이(specific) 부분으로 분리하고, 서버에서는 교차‑모달 트랜스포머를 이용해 맥락‑인식 융합을 수행하는 HybridVFL 프레임워크를 제안한다. HAM10000 피부 병변 데이터셋을 이용한 실험에서 기존 수직 연합(Vertical Federated Learning) 베이스라인을 크게 앞서는 성능을 입증한다.

상세 분석

HybridVFL은 수직 연합 학습(VFL)에서 가장 큰 병목으로 지목되는 “단순 특징 결합” 문제를 두 단계로 해결한다. 첫 번째 단계는 각 클라이언트가 자체 모달리티에 특화된 인코더(E_I, E_T)를 통해 입력을 불변 임베딩(z_inv)과 모달리티‑특이 임베딩(z_spec)으로 분리한다. 불변 임베딩은 서로 다른 모달리티 간에 공유되는 의미적 정보를 담고, 특이 임베딩은 각 모달리티 고유의 세부 정보를 보존한다. 이러한 분리 구조는 최근의 분리형 교차‑모달 학습(Fed‑CRFD, Yan et al.)과 유사하지만, VFL 환경에 맞게 암호화된 임베딩만을 서버에 전송함으로써 원시 데이터 노출을 완전히 차단한다.

두 번째 단계는 서버 측에서 수행된다. 서버는 먼저 코사인 기반 일관성 손실(L_cons)으로 두 클라이언트의 불변 임베딩을 정렬한다. 이는 모달리티 간 공유 잠재 공간을 강제하여 일반화 능력을 향상시키는 역할을 한다. 이후 네 개의 임베딩(