다중프레임·다중소스 융합으로 위성영상 품질을 혁신하는 SatFusion

초록

SatFusion은 저해상도 다중 스펙트럼 프레임과 고해상도 팬톤 이미지의 상호보완적 정보를 동시에 활용하는 통합 프레임워크이다. MFIF 모듈로 다중 프레임에서 의미론적 고해상도 특징을 추출하고, MSIF 모듈로 팬톤 이미지의 세밀한 구조 정보를 주입한다. SatFusion*에서는 팬톤 가이드를 MFIF에 직접 결합해 트랜스포머 기반 어댑티브 어그리게이션을 수행, 프레임 수 변화와 잡음·정합 오차에 강인한 성능을 보인다. 실험 결과 WorldStrat, WV3, QB, GF2 데이터셋에서 기존 MFSR·팬샤프닝 방법들을 크게 앞선다.

상세 분석

SatFusion은 기존 원격탐사 이미지 융합 연구가 MFSR(다중프레임 초해상)과 팬샤프닝(다중소스 융합)이라는 두 축으로 분리돼 있던 한계를 통합적으로 극복한다는 점에서 학술적·실용적 의의가 크다. 첫 번째 핵심은 MFIF(Multi‑Frame Image Fusion) 모듈이다. 이 모듈은 다수의 저해상도 멀티스펙트럼(LR‑MS) 프레임을 입력받아, 3‑D 컨볼루션·잔차 블록·트랜스포머 인코더를 결합한 구조로 특징을 정렬·집합한다. 기존 MFSR이 고해상도 구조 프라이어를 결여해 미세 텍스처 복원에 한계가 있었던 반면, SatFusion은 이후 단계인 MSIF(Multi‑Source Image Fusion)에서 고해상도 팬톤(PAN) 이미지의 세밀한 공간 정보를 명시적으로 주입한다. 이때 MSIF는 팬톤 이미지와 MFIF에서 추출된 고차원 의미 특징을 채널 차원에서 결합하고, 어텐션 기반 융합기로 공간적 정합을 암시적으로 수행한다. 결과적으로 픽셀‑레벨 정렬 비용을 크게 낮추면서도 구조적 일관성을 확보한다.

SatFusion*는 위 구조를 한 단계 더 발전시킨다. 팬톤 이미지를 저해상도 MS 프레임과 함께 다운샘플링 후 채널에 병합함으로써, MFIF 인코더 단계부터 구조 프라이어를 활용한다. 특히 트랜스포머 기반 어그리게이션에서 팬톤‑가이드 특징을 “포지션‑디펜던트 Fusion Reference”로 변환해, 각 프레임의 특징이 어느 위치에서 얼마나 기여할지를 동적으로 조정한다. 이는 다중 프레임 간의 미세한 정합 오차와 잡음에 대한 강인성을 크게 향상시킨다. 또한 설계상 입력 프레임 수에 제한이 없어, 훈련 시와 다른 프레임 수를 가진 실제 Sat‑IoT 환경에서도 성능 저하가 최소화된다.

실험에서는 WorldStrat, WV3, QB, GF2 등 네 개의 공개 데이터셋을 사용해 PSNR, SSIM, ERGAS 등 정량적 지표와 시각적 품질을 평가하였다. 다양한 잡음·블러·정합 변형을 가한 실험에서도 SatFusion·SatFusion*는 기존 MFSR(예: TR‑MISR, RAMS) 및 최신 팬샤프닝(예: Pan‑Mamba, FusionNet) 대비 평균 1.5 dB 이상의 PSNR 향상을 기록했으며, 특히 입력 MS 이미지 품질이 저하될수록 성능 격차가 확대되는 현상을 완화했다.

요약하면, SatFusion은 (1) 다중 프레임과 다중 소스 정보를 하나의 파이프라인에서 공동 최적화, (2) 구조 프라이어를 효율적으로 주입해 텍스처 복원을 강화, (3) 트랜스포머 기반 어댑티브 어그리게이션으로 정합·노이즈에 강인, (4) 프레임 수 가변성을 지원해 Sat‑IoT와 같은 대규모 저품질 데이터 시나리오에 적합한 설계를 제공한다는 점에서 원격탐사 이미지 초해상 및 팬샤프닝 분야에 새로운 패러다임을 제시한다.