합성 데이터 기반 무감독 고해상도 하이퍼스펙트럼 이미지 복원

초록

본 논문은 고해상도 기준 데이터가 부족한 상황에서, 하이퍼스펙트럼 이미지(HSI)의 공간 해상도를 향상시키기 위한 무감독 학습 프레임워크를 제안한다. 이미지를 엔드멤버와 풍부도 맵으로 분해한 뒤, 데드리브스 모델을 이용해 실제 풍부도 통계와 유사한 합성 풍부도 데이터를 생성한다. 이 합성 쌍을 이용해 2D/3D 혼합 컨볼루션 네트워크(MCNet)를 학습하고, 학습된 모델로 실제 저해상도 풍부도 맵을 초해상도로 복원한 뒤 엔드멤버와 재결합하여 최종 고해상도 HSI를 얻는다. 실험 결과는 기존 감독 학습 기반 방법들을 능가함을 보여준다.

상세 분석

본 연구는 하이퍼스펙트럼 이미지 초해상도(SISR) 문제를 두 단계로 분해한다. 첫 번째 단계는 선형 혼합 모델에 기반한 비음수 최소제곱(NNLS)과 최소볼륨(Volume‑Minimum) 기법을 활용해 저해상도 HSI를 엔드멤버 행렬 S와 풍부도 맵 A_LR으로 분해하는 전처리이다. 이때 엔드멤버 수 N은 사전에 정의되며, 실제 장면의 물질 구성을 반영하도록 선택된다. 두 번째 단계는 풍부도 맵 자체를 초해상도화하는 문제로 전환한다. 저해상도 풍부도 맵 A_LR을 입력으로, 고해상도 풍부도 맵 A_SR을 출력하는 매핑을 학습하기 위해, 저자들은 데드리브스(Dead Leaves) 모델을 채택한다. 데드리브스 모델은 무작위 위치와 크기의 ‘잎’(사각형)들을 겹쳐가며 이미지 영역을 채우는 절차로, 비가우시안 텍스처와 스케일 불변 통계량을 자연스럽게 재현한다. 논문에서는 각 물질 차원(z)마다 동일한 형태와 위치를 공유하도록 설계함으로써, 실제 풍부도 맵의 공간적 연속성과 물질 간 상관관계를 유지한다. 합성 고해상도 풍부도 A_DL,HR은 이러한 절차로 생성되고, 이를 가우시안 PSF와 바이큐빅 다운샘플링을 적용해 저해상도 대응쌍 A_DL,LR을 만든다. 이렇게 얻어진 (A_DL,HR, A_DL,LR) 쌍은 5 000개 정도 확보되며, 이는 네트워크 학습에 충분한 다양성을 제공한다.

학습 네트워크는 기존의 Mixed 2D/3D Convolutional Network(MCNet)를 그대로 활용한다. 2D 컨볼루션은 순수 공간적 특징을, 3D 컨볼루션은 스펙트럼 차원을 동시에 고려해 풍부도 맵의 구조적 정보를 추출한다. 입력 채널 수는 물질 수 N에 맞춰 조정되며, 손실 함수는 L1 손실을 사용해 복원된 풍부도와 합성 고해상도 풍부도 사이의 절대 차이를 최소화한다. 최적화는 Adam 알고리즘(learning rate = 1e‑4)으로 200 epoch 동안 수행된다. 학습이 완료된 MCNet은 실제 저해상도 풍부도 A_LR을 입력받아 A_SR을 예측하고, 이를 엔드멤버 S와 곱해 최종 고해상도 HSI H_SR를 재구성한다.

실험은 HYDICE Urban 데이터셋을 사용해 4배 초해상도(σ = 4) 상황을 시뮬레이션한다. 평가 지표는 PSNR, SAM, ERGAS이며, 비교 대상은 Bicubic 보간, 기존 감독 학습 기반 MCNet, SSPSR, HSISR이다. 결과는 MCNet‑DL(본 방법)이 PSNR = 26.69 dB, SAM = 14.53°, ERGAS = 7.60으로 모든 기존 방법을 앞선다. 특히 시각적 비교에서 본 방법은 경계와 미세 구조를 더 정확히 복원한다. 이는 합성 데이터가 실제 풍부도 통계와 충분히 일치했으며, 네트워크가 물질별 공간 패턴을 효과적으로 학습했기 때문이다. 또한, 감독 학습을 위해 필요한 고해상도 레이블이 전혀 없으므로 실제 현장 적용 가능성이 크게 확대된다. 한계점으로는 데드리브스 모델 파라미터 설정이 장면에 따라 민감할 수 있고, 엔드멤버 추출 단계에서 오류가 발생하면 전체 파이프라인에 누적된 오류가 전파될 가능성이 있다. 향후 연구에서는 적응형 파라미터 튜닝과 엔드멤버 추정의 불확실성을 고려한 베이지안 프레임워크를 도입할 여지가 있다.