코드북 혼합과 그레이스케일 인식 어텐션을 활용한 고속 하이퍼스펙트럼 복원

초록

MCGA는 다중 스케일 VQ‑VAE로 학습한 코드북들의 혼합(MoC)을 스펙트럼 사전으로 이용하고, 그레이스케일‑인식 어텐션 네트워크(GANet)로 RGB 특징을 정렬한다. Top‑K 어텐션과 테스트‑타임 적응(TTA)을 결합해 연산량을 크게 줄이면서도 기존 최첨단 방법보다 4‑5배 빠른 속도와 향상된 정확도를 달성한다.

상세 분석

본 논문은 RGB → HSI 복원이라는 고차원·저차원 매핑의 근본적인 ill‑posed 문제를 두 단계로 분리한다. 첫 번째 단계에서는 다중 스케일 VQ‑VAE를 이용해 다양한 공개 HSI 데이터셋(HySpecNet‑11k, ARAD‑1k, HyperGlobal‑450K)에서 각각 독립적인 코드북을 학습한다. 각 코드북은 특정 스펙트럼 밴드와 공간 해상도에 특화된 양자화 벡터를 제공하며, 이를 단순히 연결(concatenation)함으로써 ‘Mixture of Codebooks (MoC)’를 구성한다. MoC는 데이터셋 간 스펙트럼 변동성을 포괄적으로 표현하므로, 이후 단계에서 RGB 입력이 어느 촬영 조건에 있든지 사전 지식으로 활용할 수 있다.

두 번째 단계인 GANet은 Transformer 기반 인코더‑디코더 구조에 두 가지 핵심 변형을 도입한다. 첫째, Grayscale‑aware 연산으로 γ‑보정과 로그 변환을 학습 가능한 파라미터화된 함수(GAγ, GAl)로 구현한다. 이는 RGB와 HSI 사이의 주요 차이점인 밝기·그레이스케일 스펙트럼 차이를 명시적으로 모델링해, 어텐션 매커니즘이 색상 정보보다는 스펙트럼 강도에 집중하도록 만든다. 둘째, 전통적인 전역 어텐션의 O(C²HW) 복잡도를 완화하기 위해 ‘Top‑K Quantized Attention’을 도입한다. 코드북 히트율 기반으로 가장 빈번히 사용되는 K(예: 16²)개의 양자화 벡터만을 쿼리·키로 선택함으로써 O(C²K) 연산으로 축소하고, 실제 실험에서 정확도 손실이 미미함을 확인했다.

또한 테스트‑타임 적응(TTA) 전략을 제안한다. MoC 할당 확률 행렬의 엔트로피를 최소화하는 손실을 사용해, RGB 입력이 새로운 조명·센서 조건에 놓였을 때 어텐션 파라미터(GAγ, GAl)만을 미세 조정한다. 이는 라벨이 없는 상황에서도 모델이 빠르게 도메인 이동에 적응하도록 하여, 조명 변동(γ=0.9,1.1) 실험에서 MRAE를 10% 이상 감소시키는 효과를 보였다.

성능 평가에서는 ARAD‑1k와 HySpecNet‑11k 두 벤치마크에서 기존 최첨단 모델(MST++, R3ST 등) 대비 RMSE를 13‑27% 감소시키고, 파라미터 수는 0.76 M(기존 1.6 M 이상)로 줄였다. 특히 ‘mixed’ 실험(공간 구조를 무작위 섞은 OOD 상황)에서 기존 어텐션 기반 모델은 성능이 급락했으나, MCGA‑S2는 오히려 작은 감소폭만 보이며 공간 독립적인 스펙트럼 사전과 그레이스케일 어텐션의 강인함을 입증했다.

요약하면, MCGA는 (1) 다중 스케일 VQ‑VAE를 통한 전이 가능한 스펙트럼 사전, (2) 그레이스케일 특성을 명시적으로 반영한 어텐션 메커니즘, (3) Top‑K 양자화 어텐션으로 인한 연산 효율성, (4) 엔트로피 기반 테스트‑타임 적응이라는 네 가지 핵심 요소를 결합해, RGB‑HSI 복원 분야에서 정확도·속도·일반화 능력 모두를 크게 향상시킨 혁신적인 프레임워크라고 할 수 있다.