자기지도와 확산생성을 결합한 위성영상 예측 모델 SatJEPADiff

초록

SatJEPADiff은 위성 시계열 예측에서 구조적 정확도와 텍스처 디테일을 동시에 확보하기 위해 자기지도 학습 기반 IJEP‑A 모듈과 고정된 Stable Diffusion 3.5 백본을 교차‑어텐션 어댑터로 연결한다. Sentinel‑2 전역 데이터셋에서 GSSIM 0.8984, FID 0.1475를 기록하며 기존 Deterministic 모델보다 선명한 경계와 현실적인 질감을 재현한다.

상세 분석

본 논문은 위성 영상 예측에서 흔히 발생하는 “평균 회귀(Regression to the Mean)” 현상을 극복하고, 동시에 생성 모델이 초래할 수 있는 구조적 허위(Hallucination)를 억제하는 새로운 프레임워크를 제시한다. 핵심 아이디어는 두 단계로 나뉜 파이프라인에 있다. 첫 번째 단계는 IJEP‑A(Joint‑Embedding Predictive Architecture)를 활용해 입력 시점 t 의 이미지 Iₜ 를 고차원 패치 토큰으로 인코딩하고, 트랜스포머 기반 예측기 P_ϕ 가 미래 시점 t+1 의 의미 임베딩 \hat{z}{t+1} 을 추정한다. 여기서 EMA(Exponential Moving Average) 복사본 E_ξ 가 목표 임베딩 z*{t+1} 을 제공함으로써 안정적인 자기지도 학습을 보장한다. 손실 함수는 재구성 L1, 코사인 유사도, 공간 변이 억제, 그리고 InfoNCE 기반 대비 손실을 가중치 λ 로 결합해 의미 임베딩의 정확성과 분산을 동시에 최적화한다.

두 번째 단계는 고정된 Stable Diffusion 3.5(LDM) 백본에 경량 교차‑어텐션 어댑터 A_ψ 를 삽입한다. 어댑터는 (1) IJEP‑A가 예측한 의미 토큰을 4096 차원의 크로스‑어텐션 토큰 h 으로 변환하고, (2) 저해상도(32×32) RGB 구조 정보를 2048 차원의 전역 컨디션 p 로 변환한다. 학습 가능한 시그모이드 게이트 α 가 두 신호를 가중합해 최종 컨디션 c = (h, p) 를 만든 뒤, LDM은 흐름 기반 속도 예측 v_θ 을 통해 텍스처를 복원한다. 여기서 사용된 손실은 정규화된 L2 속도 손실과 SSIM 보조 항을 포함한다.

실험에서는 전 세계 100개 지역, 2017‑2024년 기간의 Sentinel‑2 RGB 밴드와 AlphaEarth 64‑차원 의미 임베딩을 결합한 대규모 데이터셋을 구축하였다. 정량적 지표에서 기존 PredRNN·SimVP와 같은 Deterministic 모델은 PSNR·SSIM에서 우수하지만 GSSIM·FID와 같은 지각적 품질에서는 크게 뒤처진다. SatJEPADiff은 GSSIM 0.8984(기존 최고 0.7836 대비 14%↑)와 FID 0.1475(기존 0.4528 대비 67%↓)를 달성, 특히 도로·건물·수역 경계와 같은 고주파 구조를 선명히 복원한다. 또한 Panopticon 기반 인코더 교체 실험에서도 성능 저하가 거의 없으며, 이는 프레임워크가 특정 백본에 종속되지 않음을 시사한다.

한계점으로는 확산 과정의 stochastic 특성으로 인한 롤아웃 시 누적 오차가 존재하며, 현재는 1‑step 예측에 초점을 맞추었다. 향후 연구에서는 장기 시계열 일관성을 위한 순환적 어댑터 설계와, 텍스트 기반 지리 설명을 조건으로 활용하는 멀티모달 확장 가능성을 제시한다.