자기지도식 하이퍼스펙트럼 이미지 복원을 위한 분리형 이미지 사전

초록

본 논문은 단일 저하된 하이퍼스펙트럼 이미지(HSI)만을 이용해 자체적으로 학습 데이터를 생성하고, 분리형 합성곱 신경망을 통해 효율적인 복원을 수행하는 자기지도식 학습 프레임워크를 제안한다. 저차원 구조 사전을 활용해 파라미터 수를 크게 줄이면서도 기존 비분리형 네트워크와 동등하거나 우수한 복원 성능을 보인다.

상세 분석

이 연구는 하이퍼스펙트럼 이미지 복원 분야에서 두 가지 핵심 난제를 동시에 해결한다. 첫 번째는 대규모 라벨링된 데이터셋이 부족한 상황에서도 학습이 가능한 자기지도식 전략이다. 저자는 단일 손상 이미지에 인위적으로 잡음을 추가하거나 랜덤 마스크를 적용해 입력‑목표 쌍을 생성하고, 이를 이용해 네트워크를 “노이즈‑투‑노이즈” 방식으로 학습한다. 이 접근법은 기존 Noise2Void(N2V)와 Deep Image Prior(DIP)의 장점을 계승하면서, 과도한 스무딩이나 지역 상관성이 낮은 이미지에 대한 취약성을 보완한다.

두 번째 핵심은 하이퍼스펙트럼 데이터의 고유한 스펙트럼‑공간 저‑랭크 특성을 반영한 분리형 합성곱(Separable CNN) 설계이다. 전통적인 3D 합성곱은 스펙트럼 차원을 모두 동시에 처리해 파라미터 수가 급증하고 학습이 불안정해진다. 저자는 깊이‑와이즈(depth‑wise) 2D 합성곱과 1×1 포인트‑와이즈(point‑wise) 합성곱을 조합해 스펙트럼과 공간을 별도로 처리한다. 이 구조는 (K×K×1×M)와 (1×1×M×L) 형태의 파라미터만을 사용해 동일한 표현력을 유지하면서 연산량을 크게 감소시킨다.

실험에서는 홀‑필링, 노이즈 제거, 압축 복원 등 다양한 복원 태스크에 대해 비분리형 네트워크와 최신 모델(BM4D, FastHyDe 등)과 비교하였다. 특히 홀‑필링 실험에서 동일한 레이어 수와 학습 조건에도 불구하고 분리형 네트워크가 PSNR 39.13 dB를 기록, 비분리형 네트워크(37.8 dB)를 크게 앞섰다. 이는 저‑랭크 스펙트럼 구조가 분리형 네트워크에 자연스럽게 내재되어, 학습이 더 안정적이고 최적해에 빠르게 수렴함을 의미한다.

또한 저자는 이론적 관점에서, 분리형 네트워크가 표현할 수 있는 이미지 집합 S_Φ가 비분리형보다 부분집합이지만, 실제 HSI는 그 부분집합 안에 충분히 포함된다. 따라서 최적화 난이도와 일반화 성능 측면에서 분리형 구조가 실용적 우위를 가진다.

전체적으로 이 논문은 (1) 라벨이 없는 단일 이미지만으로도 효과적인 자기지도 학습이 가능함을 입증하고, (2) 하이퍼스펙트럼 데이터의 구조적 특성을 고려한 경량화된 네트워크 설계가 복원 품질을 유지하면서 연산 효율성을 크게 향상시킨다는 중요한 교훈을 제공한다.