센서 독립형 라틴트 확산 기반 초고해상도 멀티스펙트럼 융합

초록

SALAD‑Pan은 밴드별 단일채널 VAE로 HRMS를 압축 라틴트 공간에 인코딩하고, PAN·LRMS·센서 메타데이터를 결합한 양방향 제어 구조로 라틴트 확산을 수행한다. 라틴트 공간에서의 확산으로 연산량을 크게 줄이며, 센서‑agnostic 설계와 경량 교차밴드 어텐션을 통해 2‑3배 빠른 추론과 뛰어난 스펙트럼 일관성을 달성한다.

상세 분석

본 논문은 기존 확산 기반 팬샤프닝이 픽셀 공간에서 고해상도 전체 이미지를 반복적으로 처리함으로써 발생하는 높은 연산 비용과, 센서마다 다른 밴드 구성을 이유로 별도 모델을 학습해야 하는 두 가지 근본적인 한계를 동시에 해결하고자 한다. 이를 위해 저자는 먼저 “밴드‑별 단일채널 VAE”를 설계한다. 각 스펙트럼 밴드를 독립적으로 인코딩·디코딩함으로써, 센서가 제공하는 밴드 수와 순서에 관계없이 동일한 VAE 가중치를 재사용할 수 있다. VAE는 HRMS 밴드 X(b) 를 평균 µ와 분산 σ² 로 표현되는 가우시안 라틴트 z(b) 로 압축하고, 이 라틴트는 원본 해상도 대비 크게 축소된 h′ × w′ 크기를 가진다. 라틴트의 스케일을 정규화하기 위해 κ_vae 를 도입하고, 이후 확산 단계에서는 평균값만을 deterministic하게 사용한다.

두 번째 단계인 “라틴트 조건부 확산”에서는 고정된 VAE 디코더를 그대로 두고, 라틴트 공간에서 DDPM을 수행한다. 여기서 조건은 세 가지로 구성된다. 첫째, PAN 이미지가 제공하는 고주파 공간 정보를 공간 제어 브랜치에 입력한다. 둘째, LRMS를 bicubic upsampling 한 ˜M(b) 가 스펙트럼 제어 브랜치에 투입되어 저주파 복사량을 제공한다. 셋째, 센서‑특정 물리 메타데이터를 텍스트 프롬프트 형태로 CLIP 텍스트 인코더에 전달하고, 이를 cross‑spectral attention 으로 라틴트 디코더에 결합한다.

조건부 제어는 “양방향 인터랙션”과 “단방향 제어” 두 형태로 구현된다. 인코더 단계에서는 라틴트 트렁크와 각 브랜치가 서로 피드백을 주고받으며, 트렁크가 제공하는 피처를 브랜치가 보강하고 다시 트렁크에 residual Δ을 주입한다. 반면 중간·디코더 단계에서는 브랜치 → 트렁크 일방향 흐름만 허용해 학습 안정성을 확보한다. Residual Δ은 주파수 분할 방식으로 결합된다. 저주파 성분은 스펙트럼 브랜치에서, 고주파 성분은 공간 브랜치에서 추출해 각각 라틴트 트렁크에 더함으로써, 공간·스펙트럼 정보를 물리적으로 구분하면서도 효율적으로 융합한다.

라틴트 공간에서 밴드 간 독립 인코딩이 가져올 수 있는 스펙트럼 불일치를 보완하기 위해, 중앙 레이어에 “Region‑based Cross‑Band Attention (RCBA)” 모듈을 삽입한다. RCBA는 작은 지역 단위에서 여러 밴드의 라틴트 피처를 상호 참조해, 밴드 간 연관성을 학습하고 스펙트럼 일관성을 강화한다. 모듈은 경량 설계로 전체 파라미터 증가를 최소화한다.

실험에서는 GaoFen‑2, QuickBird, WorldView‑3 세 데이터셋을 사용해 기존 최첨단 확산 기반 방법(PanDiff, SSDiff, SGDiff 등)과 전통적 CNN/Transformer 기반 방법을 비교하였다. 정량적 지표(Q, SAM, ERGAS 등)에서 SALAD‑Pan이 전반적으로 우수함을 보였으며, 특히 2‑3배 빠른 추론 속도와 zero‑shot 교차‑센서 테스트에서의 견고한 성능이 강조된다. 코드 공개 예정이며, 라틴트‑기반 확산이 팬샤프닝 분야에서 연산 효율성과 센서 일반화 측면에서 새로운 패러다임을 제시한다는 점이 주요 공헌이다.