하이퍼스펙트럼 이미지 분류를 위한 믹스업 기반 파운데이션 모델 MIFOMO

초록

본 논문은 대규모 원격탐사 파운데이션 모델인 HyperSIGMA를 기반으로, 파라미터 효율적인 공동 투영(Coalescent Projection)과 믹스업 도메인 적응(Mixup Domain Adaptation)을 결합한 MIFOMO를 제안한다. 백본을 고정하고 소수의 학습 가능한 매트릭스만 업데이트함으로써 과적합을 방지하고, 중간 도메인을 생성해 극심한 도메인 격차를 완화한다. 라벨 스무딩을 활용해 의사 라벨 노이즈를 억제하며, 실험에서 기존 방법 대비 최대 14% 향상을 기록한다.

상세 분석

MIFOMO는 기존 CDFSL 연구가 가지고 있던 세 가지 주요 한계를 체계적으로 해결한다. 첫째, 기존 방법은 RGB 이미지에 적용되는 단순 노이즈 증강을 하이퍼스펙트럼 데이터에 그대로 적용해 샘플 다양성을 충분히 확보하지 못한다. MIFOMO는 믹스업(Mixup) 방식을 활용해 스펙트럼 차원을 보존하면서 선형 보간된 가상 샘플을 생성, 데이터 다양성을 자연스럽게 증대한다. 둘째, 대규모 파라미터를 전부 학습시키는 전통적 접근은 소수 샷 상황에서 과적합 위험이 크다. 여기서는 파라미터 효율적인 파인튜닝 기법인 공동 투영(Coalescent Projection, CP)을 도입한다. CP는 키와 쿼리 사이의 어텐션 매핑을 연결하는 단일 학습 가능한 행렬만을 업데이트하고, 나머지 백본 네트워크는 완전히 고정한다. 이는 파라미터 수를 기존 LoRA 방식보다 현저히 감소시키면서도, 파운데이션 모델이 사전 학습한 일반화 능력을 그대로 유지한다. 셋째, 소스와 타깃 도메인 간의 레이블 공간이 완전히 불일치하는 상황에서 직접적인 도메인 정렬은 실패하기 쉽다. MIFOMO는 소스 도메인과 타깃 도메인 사이에 ‘중간 도메인’을 믹스업으로 생성해 두 도메인을 부드럽게 연결한다. 이 중간 도메인은 메타러닝 에피소드에 포함되어, 단계별로 지식 전이가 이루어지도록 설계되었다. 또한, 타깃 도메인의 쿼리 샘플에 대해 의사 라벨을 부여할 때 라벨 스무딩을 적용해 라벨 누수와 노이즈를 완화한다. 실험에서는 HyperGlobal‑450K 데이터셋으로 사전 학습된 HyperSIGMA 파운데이션 모델을 사용했으며, 다양한 공개 HSI 데이터셋(예: Indian Pines, Pavia University 등)에서 5‑way 1‑shot, 5‑way 5‑shot 설정을 테스트했다. 결과는 기존 불일치 기반, 적대적 기반, 대조 기반 방법들에 비해 평균 8 %~14 %의 정확도 향상을 보여, 제안된 CP와 믹스업 도메인 적응이 실제로 과적합을 억제하고 도메인 격차를 효과적으로 감소시킴을 입증한다. 전체적으로 MIFOMO는 파운데이션 모델을 활용한 파라미터 효율적인 CDFSL 프레임워크의 가능성을 제시한다.