모달리티 결손에 강한 효율적 MoE, MaMOL 제안

초록

본 논문은 원격탐사 멀티모달 분류에서 센서 고장 등으로 발생하는 모달리티 결손 문제를 조건부 계산 관점에서 재조명한다. 기존 MoE 모델을 체계적으로 평가한 뒤, 공유 전문가와 동적 전문가를 이중 라우팅으로 분리한 파라미터 효율적인 Mixture‑of‑LoRA 프레임워크인 MaMOL을 제안한다. 실험 결과, 다양한 결손 조합에서도 높은 정확도와 일반화를 유지하며 연산 비용은 최소화한다.

상세 분석

이 논문은 원격탐사 분야에서 멀티모달 데이터를 활용한 분류 작업이 센서 고장, 대기 조건, 비용 제한 등으로 인해 종종 일부 모달리티가 누락되는 현실적인 상황을 다룬다. 저자들은 이러한 상황을 “조건부 계산(conditional computation)” 문제로 정의하고, 입력된 모달리티 조합마다 서로 다른 연산 경로를 선택하도록 설계된 Mixture‑of‑Experts(MoE) 구조가 본질적으로 적합하다고 주장한다. 기존 MoE는 크게 (i) 전체 레이어를 전문가 블록으로 교체하는 replace‑based, (ii) 공유 백본에 전문가 잔차(branch)를 추가하는 adapt‑based, (iii) 결손 패턴을 태스크 임베딩으로 인코딩해 라우팅하는 task‑driven 세 가지 패러다임으로 분류된다. 각각을 실험적으로 검증한 결과, replace‑based는 파라미터와 메모리 요구량이 급증해 대규모 원격탐사 데이터에 부적합하고, adapt‑based는 모달리티와 결손 패턴이 혼재되어 전문가가 명확히 특화되지 못한다는 한계를 보였다. task‑driven는 결손 정보를 라우팅에 반영하지만, 여전히 하나의 전문가 풀에 모든 변형을 매핑해 서로 간섭(interference) 문제가 발생한다.

이러한 분석을 토대로 저자들은 “공유‑전문가(shared expert) + 동적‑전문가(dynamic expert) + 모달리티‑전문가(modality‑specific expert)”라는 3‑factor 구조를 제안한다. 공유‑전문가는 모든 상황에서 고정적으로 활성화돼 모달리티에 독립적인 일반 시각 정보를 제공하고, 모달리티‑전문가는 각 센서별 특성을 보존한다(예: SAR, 하이퍼스펙트럼, LiDAR 각각에 전용 LoRA 전문가). 동적‑전문가는 결손 패턴을 명시적으로 인코딩한 라우터 ψ(m)와 입력 특성 z를 결합해 Top‑K 전문가만을 선택한다. 라우터는 경량 프로젝션 ϕ와 소프트맥스 기반 게이팅을 사용해 희소 활성화를 보장함으로써 연산 비용을 최소화한다. 전문가 자체는 LoRA(Low‑Rank Adaptation) 형태로 구현돼, 기존 Vision Transformer(ViT) 백본의 파라미터는 거의 동결된 상태에서 몇 백만 개의 추가 파라미터만으로 다양한 결손 상황에 적응한다.

실험에서는 다중 모달리티 벤치마크(예: Sentinel‑2, SAR, 하이퍼스펙트럼 데이터 조합)와 자연 이미지 데이터셋(ImageNet‑C 등)에서 MaMOL을 평가했다. 결과는 (1) 2^M‑1개의 모든 결손 조합을 단일 모델로 처리하면서도 기존 2‑stage 방식(완전 모달리티 학습 후 별도 적응)보다 평균 3~5% 높은 정확도를 달성, (2) 파라미터 증가율이 1% 이하에 머물러 실시간 추론에 적합, (3) 결손 패턴이 훈련에 포함되지 않은 경우에도 견고한 일반화 능력을 보였다. 특히, 결손이 심한 경우(예: 2개 이상 모달리티 누락)에도 공유‑전문가와 모달리티‑전문가가 기본적인 시각 정보를 유지하고, 동적‑전문가가 결손 특성을 보정해 성능 저하를 최소화한다는 점이 주목할 만하다.

이 논문은 MoE를 원격탐사 모달리티 결손 문제에 적용하는 첫 번째 체계적 연구이며, 라우팅 설계와 LoRA 기반 경량 전문가 도입을 통해 파라미터 효율성과 성능을 동시에 달성한 점이 큰 공헌이다. 향후 연구에서는 라우터의 메타‑학습, 전문가 수의 자동 조정, 그리고 시계열·영상 스트리밍 데이터에 대한 확장 가능성을 탐색할 여지가 있다.