물리 지식이 결합된 마스크드 오토인코더와 선형 스펙트럼 혼합 및 스펙트럼 각도 기반 재구성

초록

본 논문은 Vision Transformer 기반 마스크드 오토인코더(ViT‑MAE)에 선형 스펙트럼 혼합 모델(LSMM)과 스펙트럼 각도 매퍼(SAM) 손실을 통합한 지식‑가이드형 프레임워크(KARMA)를 제안한다. 디코더에서 물리적 혼합 과정을 명시적으로 모델링하고, Huber 손실, SAM 손실, 물리 일관성 손실을 가중합한 하이브리드 목표함수를 최적화함으로써 재구성 정확도와 스펙트럼 형태 보존을 동시에 달성한다. EnMAP 하이퍼스펙트럼 데이터셋을 이용한 실험에서 PSNR이 2.77 dB, SSIM이 0.23 상승하는 등 기존 ViT‑MAE 대비 현저한 성능 향상을 보였으며, 다운스트림 분류·회귀 과제에서도 전이 학습 효율이 개선되었다.

상세 분석

KARMA는 기존 ViT‑MAE의 인코더‑디코더 구조를 유지하면서, 디코더에 물리 기반 선형 스펙트럼 혼합 모델(LSMM)을 병렬 브랜치로 삽입한다. LSMM은 관측 스펙트럼 r을 M개의 엔드멤버 행렬 A와 비선형이 아닌 선형 결합으로 표현한다( r = A·x + e ). 여기서 x는 비음수·합계 1 제약을 만족하는 풍부도 벡터이며, 논문에서는 소프트맥스 레이어를 통해 자동으로 제약을 만족하도록 설계하였다. 디코더 토큰 z는 경량 MLP를 거쳐 풍부도 추정값 ˆx를 생성하고, 이를 A와 곱해 물리적 재구성 ˆr_phys를 만든다.

스펙트럼 각도 매퍼(SAM) 손실은 재구성 스펙트럼과 원본 스펙트럼 사이의 각도를 최소화함으로써 스펙트럼 형태(방향성)를 보존한다. 이는 절대값 차이에 민감한 MSE나 Huber 손실과 달리, 물질 구분에 핵심적인 스펙트럼 모양을 유지하도록 유도한다. SAM 손실은 arccos(⟨ˆr, r⟩/(‖ˆr‖‖r‖+ε)) 형태로 정의되며, 전체 손실은 L = λ1·L_Huber + λ2·L_SAM + λ3·L_phys 로 구성된다. λ 파라미터는 각각의 목표가 차지하는 비중을 조절한다.

아키텍처 측면에서 입력 하이퍼스펙트럼 큐브는 16×16 패치로 분할되어 512 차원 임베딩으로 투영된다. 75% 마스킹 비율을 적용해 대량의 마스크 토큰을 생성하고, 인코더는 가시 토큰만 처리해 연산 효율을 높인다. 디코더는 가시 토큰과 마스크 토큰을 결합해 복원된 토큰을 생성하고, 여기서 두 개의 출력 브랜치(전통적인 픽셀값 예측과 LSMM 기반 물리 재구성)가 동시에 학습된다.

실험에서는 EnMAP 위성의 218 밴드 하이퍼스펙트럼 데이터를 사용했으며, 학습 데이터 5,000개 타일, 검증 500개, 테스트 2,000개로 구성하였다. 재구성 품질 평가는 PSNR과 SSIM으로 수행했으며, KARMA는 기존 ViT‑MAE 대비 PSNR 27.38 dB vs 24.61 dB, SSIM 0.68 vs 0.55를 기록했다. 이는 각각 11.3%와 23.6%의 상대적 향상이다. 또한, SAM 손실 도입으로 인한 연산 오버헤드는 학습 시간당 26% 증가, 전체 모델은 약 31.7%의 추가 비용을 보였지만, 성능 향상이 이를 상쇄한다는 결론을 제시한다.

다운스트림 전이 실험에서는 사전 학습된 인코더를 고정하고 경량 CNN 헤드를 부착해 작물 종류 분류와 국가 수준 토지 피복 분류 두 과제를 수행했다. Top‑1 정확도와 mIoU 모두에서 물리‑가이드형 사전 학습이 비가이드형 대비 유의미한 개선을 보였으며, 특히 스펙트럼 형태 보존이 중요한 토양·식생 구분에서 큰 이점을 제공한다는 점이 강조된다.

본 연구는 (1) 물리 모델을 트랜스포머 디코더에 자연스럽게 결합한 설계, (2) 스펙트럼 형태를 직접 최적화하는 SAM 손실의 효과, (3) 하이브리드 손실을 통한 데이터‑주도와 지식‑주도 학습의 균형이라는 세 가지 핵심 기여를 제공한다. 한계점으로는 엔드멤버 행렬 A를 완전히 물리적 사전 지식이 아닌 학습 가능한 파라미터로 초기화했기 때문에, 실제 물리적 의미와의 정합성을 추가 검증할 필요가 있다. 또한, 현재는 선형 혼합만을 가정했으므로 비선형 혼합 현상을 다루는 확장이 요구된다.