자기지도 방식 모달리티 분리 기반 하이퍼스펙트럴 이미지 초해상도

초록

본 논문은 저해상도 하이퍼스펙트럴 이미지(LR‑HSI)와 고해상도 멀티스펙트럴 이미지(HR‑MSI)를 결합해 고해상도 하이퍼스펙트럴 이미지(HR‑HSI)를 복원하는 새로운 무감독 프레임워크인 MossFuse를 제안한다. 핵심 아이디어는 두 모달리티가 공유하는 LR‑MSI 표현과 각각이 보유한 고유 보완 정보를 명시적으로 분리(decouple)하고, 이를 서브스페이스 클러스터링 손실로 지도한다. 결과적으로 파라미터 수와 추론 시간은 크게 감소하면서도 기존 최첨단 방법들을 일관되게 능가한다.

상세 분석

MossFuse는 “모달리티‑공유 표현(FS)”과 “모달리티‑보완 표현(FCY, FCx)”를 명확히 구분하는 구조적 설계를 갖는다. 논문은 공간·스펙트럼 저하 연산 D_s와 D_λ가 교환법칙을 만족한다는 사실을 이용해, HR‑MSI와 LR‑HSI를 각각 D_s와 D_λ에 적용하면 동일한 저해상도 멀티스펙트럴 이미지(y)를 얻는다고 증명한다. 이 y는 두 입력이 공유하는 잠재 서브스페이스이며, 이를 FS라고 정의한다.

FS를 추출하기 위해 MossFuse는 인코더‑디코더 기반의 두 개의 모달리티‑전용 인코더를 사용한다. 각 인코더는 입력을 FS와 해당 모달리티 전용 보완 특징(FCY 혹은 FCx)으로 분리한다. 분리 과정은 서브스페이스 클러스터링 손실(L_sub)로 강제된다. L_sub은 FS가 서로 다른 입력에서 동일한 클러스터 중심에 수렴하도록 유도하고, 보완 특징은 서로 다른 클러스터에 배치함으로써 공유·보완 정보를 명확히 구분한다.

또한, 자기지도 제약으로서 역변환 모듈을 도입한다. FS와 보완 특징을 다시 합성해 원본 HR‑MSI와 LR‑HSI를 재구성하고, 재구성 손실(L_rec)을 최소화한다. 이 과정은 모델이 학습 단계에서 실제 물리적 저하 모델(D_s, D_λ)을 추정하도록 돕는다. 저하 파라미터 추정 모듈은 가우시안 블러와 스펙트럼 응답 함수를 파라미터화하여, 무감독 상황에서도 강인한 복원을 가능하게 한다.

MossFuse의 핵심 장점은 다음과 같다. 첫째, 모달리티‑공유 서브스페이스를 명시적으로 활용함으로써 불필요한 중복 특징을 제거하고, 파라미터 효율성을 크게 향상시킨다. 둘째, 보완 특징을 별도로 학습함으로써 HR‑MSI의 고주파 공간 디테일과 LR‑HSI의 정밀 스펙트럼 정보를 손실 없이 보존한다. 셋째, 서브스페이스 클러스터링 손실은 전통적인 L2 손실보다 구조적 정보를 더 잘 유지하며, 학습 안정성을 높인다.

실험에서는 5개의 공개 데이터셋(CAVE, Harvard, Chikusei, Pavia, Indian Pines 등)을 사용해 PSNR, SSIM, SAM 등 다중 지표에서 기존 행렬·텐서 분해 기반 방법, 그리고 최신 딥러닝 기반 HMIF 모델들을 모두 능가하였다. 특히 파라미터 수는 기존 모델 대비 30%~50% 감소했으며, 추론 시간은 평균 2배 이상 빨라 실시간 혹은 임베디드 환경에 적합함을 입증한다.

한계점으로는 현재 서브스페이스 클러스터링 손실이 클러스터 수(K)를 사전에 지정해야 한다는 점이며, 복잡한 지형이나 급격한 스펙트럼 변화를 가진 장면에서는 K 선택이 성능에 영향을 줄 수 있다. 향후 연구에서는 자동 K 탐색 혹은 비정형 클러스터링 기법을 도입해 이러한 제약을 완화할 계획이다.

전반적으로 MossFuse는 “모달리티 분리 → 공유 서브스페이스 → 보완 특징 재조합”이라는 명확한 파이프라인을 제시함으로써, 무감독 하이퍼스펙트럴·멀티스펙트럴 융합 분야에 새로운 패러다임을 제공한다.