스펙트럼·스케일 무관 다중센서 하이퍼스펙트럼 융합 프레임워크

초록

본 논문은 다양한 센서의 밴드 수와 해상도 비율에 구애받지 않는 통합 MS/HS 융합 모델 SSA를 제안한다. 핵심은 가변 채널 처리를 가능하게 하는 Matryoshka Kernel과 연속 좌표 함수를 학습하는 Implicit Neural Representation(인프라) 백본이다. 단일 모델로 다중 데이터셋을 공동 학습하고, 보지 못한 센서와 임의 스케일에서도 최첨단 성능을 달성한다.

상세 분석

SSA 프레임워크는 두 가지 혁신적 요소를 결합한다. 첫째, Matryoshka Kernel(MK)은 ‘중첩 커널’ 개념을 도입해 하나의 가중치 텐서를 Cmax × D × k × k 형태로 저장하고, 입력 채널 수 C_in에 따라 슬라이스하여 유효 커널을 동적으로 생성한다. 이를 통해 입력·출력 모두 가변 밴드 수를 지원하므로, 기존처럼 모델을 센서별로 재설계하거나 파인튜닝할 필요가 사라진다. 또한, 출력 MKL은 원하는 출력 밴드 수 C_out에 맞춰 동일한 슬라이스 방식을 적용해 원본 스펙트럼 차원을 복원한다.

둘째, 공간 스케일의 제약을 없애기 위해 SSA는 INR 기반 MLP 백본을 사용한다. 저해상도 HSI와 고해상도 MSI를 각각 MKL을 통해 고정 차원 D의 특징으로 변환한 뒤, 두 특징을 별도 인코더(ϕ, ψ)로 압축한다. 이후 좌표 p∈Ω=