멀티모달 연합 그래프 학습을 위한 종합 벤치마크 MM‑OpenFGL

초록

본 논문은 멀티모달 속성 그래프(MMAG)를 연합 학습 환경에 적용하기 위한 최초의 종합 벤치마크 MM‑OpenFGL을 제안한다. 19개의 멀티모달 데이터셋(7개 도메인), 8가지 시뮬레이션 전략(모달리티·토폴로지·라벨 이질성), 6개의 다운스트림 과제, 57개의 최신 알고리즘을 포함한 모듈형 API를 제공한다. 엔드‑투‑엔드와 두 단계(프리트레인‑파인튜닝) 파이프라인을 모두 지원하며, 데이터 분석·성능·견고성·효율성 네 축으로 광범위한 실험을 수행해 MMFGL의 필요성, 효과, 취약점, 향후 연구 방향을 제시한다.

상세 분석

MM‑OpenFGL은 멀티모달 연합 그래프 학습(MMFGL)이라는 새로운 문제 영역을 체계적으로 정의하고, 기존 연합 그래프 학습(FGL) 벤치마크가 갖지 못한 세 가지 핵심 요소를 보완한다. 첫째, 문제 정의 단계에서 MMAG의 특성을 반영해 모달리티 간 시맨틱 충돌과 클라이언트 간 토폴로지 불일치를 명시적으로 모델링한다. 이를 통해 “모달리티‑NonIID”, “토폴로지‑Unavailable”, “라벨‑NonIID”와 같은 현실적인 데이터 분산 시나리오를 2×2×2 조합으로 8가지 시뮬레이션 전략을 제공한다. 둘째, 데이터 측면에서 기존 벤치마크가 전처리된 피처에 의존하는 반면, MM‑OpenFGL은 원시 텍스트·이미지 데이터를 제공하고, Qwen2‑7B‑Instruct, CLIP‑Vi‑Large 등 최신 멀티모달 인코더를 활용해 각 클라이언트가 자체적으로 피처를 추출하도록 설계했다. 이는 연합 환경에서 인코더 선택이 성능·통신 비용에 미치는 영향을 정량화할 수 있게 한다. 셋째, 알고리즘 포트폴리오를 ‘MM‑GNN’, ‘표준 FL’, ‘이질성 FL’, ‘그래프 기반 모델’ 네 가지 카테고리로 구분하고, 57개의 구현체를 모듈식 API에 통합했다. 특히 대규모 그래프‑LLM(GFT, OFA)과 같은 최신 파운데이션 모델을 포함시켜, 사전학습‑파인튜닝(두 단계) 파이프라인의 효율성을 평가한다. 실험 결과는 네 가지 평가 축(필요성, 효과성, 견고성, 효율성)에서 다음과 같은 인사이트를 도출한다. (1) 모달리티‑NonIID 상황에서는 단순 FedAvg이 오히려 로컬 학습보다 성능이 떨어지며, 모달리티 정합성을 고려한 교차‑모달 컨트라스트 학습이 필수적이다. (2) 토폴로지‑Unavailable 환경에서는 그래프 구조를 재구성하는 SBM·RDPG 기반 샘플링이 성능 회복에 크게 기여하지만, 통신 비용이 증가한다. (3) 라벨‑NonIID가 심한 경우, FedProx와 같은 정규화 기법이 수렴 안정성을 높이며, 클라이언트별 라벨 분포를 반영한 가중 평균이 전체 정확도를 35% 향상시킨다. (4) 효율성 측면에서는 경량 텍스트 인코더(Llama‑3.2‑1B)와 경량 GNN(GCN) 조합이 FLOPS와 통신량을 크게 절감하면서도, 대형 멀티모달 인코더와 결합한 경우 대비 12% 이하의 정확도 손실만을 보인다. 전반적으로 MM‑OpenFGL은 멀티모달 연합 학습의 연구 격차를 메우는 동시에, 실제 서비스 환경에서 발생할 수 있는 다양한 이질성 문제를 실험적으로 검증할 수 있는 토대를 제공한다.