고해상도 SWIR 밴드 합성을 위한 DeepSWIR 딥러닝 모델

본 논문은 고해상도 SWIR(Short‑Wave InfraRed) 밴드가 상용 위성에서 7.5 m 정도로 제한되는 현 상황을 극복하고자, 인도 우주연구기관(ISRO)의 Resourcesat‑2A 위성에 탑재된 두 센서(LISS‑III와 LISS‑IV)의 동시 획득 데이터를 활용한 새로운 딥러닝 기반 합성 프레임워크인 DeepSWIR를 제안한다. LISS‑III는 24 m 해상도로 VNIR(G, R, NIR)과 SWIR 밴드를 제공하고, LISS‑IV는 동일 파장대의 VNIR을 5 m 해상도로 제공한다. 이 두 센서의 스와스가 겹치는 영역에서 동시에 촬영된 데이터를 이용해, 저해상도 24 m SWIR와 고해상도 5 m VNIR 사이의 비선형 스펙트럼‑공간 관계를 학습한다. ### 1. 데이터 준비 및 전처리 훈련·검증·테스트 데이터는 인도 전역의 다양한 지형·계절을 포괄하도록 선택된 WRS 경로·행 조합에서 추출되었다. 각 타일은 LISS‑III와 LISS‑IV의 동시 촬영 이미지로 구성되며, LISS‑III의 SWIR(1.55‑1.70 µm)와 LISS‑IV의 G, R, NIR 밴드가 쌍을 이룬다. 데이터는 10‑bit DN 값을 그대로 사용했으며, 별도의 방사 보정 없이 원본 스펙트럼 정보를 유지한다. 이는 기존 연구에서 흔히 수행되는 다운샘플링·가우시안 블러링에 의해 발생하는 인위적 노이즈를 최소화한다. ### 2. 네트워크 구조 DeepSWIR는 크게 두 단계의 잔차 학습 메커니즘을 포함한다. - **Shallow Feature Extraction (SFE)**: 입력 이미지(I_SB)를 3×3 컨볼루션 하나로 처리해 초기 특징 F₀을 추출한다. 활성화 함수를 사용하지 않아 방사값의 원시 범위를 보존한다. - **Local Residual Feature Extraction (LRFE)**: N개의 Residual Block(RB)으로 구성되며, 각 블록은 입력 특징에 대해 스킵 연결을 적용한다. 블록 내부는 두 개의 3×3 컨볼루션과 배치 정규화를 포함하지만, 출력에 활성화를 배제한다. 이는 깊은 네트워크에서도 방사값의 선형성을 유지하도록 설계된 것이다. - **Global Residual Feature Extraction (GRFE)**: 전체 네트워크 흐름에 대한 전역 잔차를 학습하기 위해 별도의 경로를 두어, LRFE에서 얻은 특징과 병합한다. 전역 잔차는 깊은 층에서 발생할 수 있는 그래디언트 소실을 완화하고, 전체적인 스펙트럼 변환을 보강한다. - **Dense Fusion**: 로컬·글로벌 잔차에서 추출된 특징을 채널 차원에서 결합하고, 마지막 1×1 컨볼루션을 통해 5 m SWIR 밴드의 DN 값을 직접 예측한다. 네트워크는 L1 손실 함수를 최소화하도록 학습되며, Adam 옵티마이저(β₁=0.9, β₂=0.999)와 초기 학습률 1e‑4를 사용한다. 배치 크기는 16, 에폭 수는 200으로 설정했으며, 학습 과정에서 검증 손실이 최소가 되는 모델을 최종 모델로 선정한다. ### 3. 대용량 이미지 처리 – Gaussian Feathering 스티칭 위성 이미지의 크기가 메모리 한계를 초과할 경우, 32×32 픽셀 크기의 오버랩 패치를 추출해 개별적으로 모델에 입력한다. 각 패치의 예측 결과는 가우시안 가중치 행렬을 곱해 경계 부분을 부드럽게 만든 뒤, 전체 이미지에 합성한다. 이 방식은 패치 간 경계에서 발생할 수 있는 인공적인 경계선을 최소화하고, 연산 효율성을 크게 향상시킨다. ### 4. 실험 및 평가 - **정량 평가**: PSNR, SSIM, SAM, 그리고 스펙트럼 각도 차이(MAE) 등 5가지 지표를 사용해 합성 SWIR와 원본 24 m SWIR를 비교했다. DeepSWIR는 기존 bicubic 보간, SRCNN, DSen2 등과 비교해 평균 PSNR 2.3 dB, SSIM 0.04, SAM 1.2° 정도 향상된 결과를 보였다. - **정성 평가**: False Colour Composite(FCC) 이미지에서 합성 SWIR가 원본과 거의 동일한 색조와 경계 선명도를 유지함을 시각적으로 확인했다. 특히 물체 경계와 토양·식생 구분에서 세밀한 디테일이 보존되었다. - **TOA 반사율 변환 및 Sentinel‑2B 비교**: 합성 DN을 TOA 반사율로 변환한 뒤, 동일 지역의 Sentinel‑2B SWIR(10 m)와 비교했다. 두 데이터 간 평균 차이는 0.02(반사율) 수준으로, 실용적인 수준의 스펙트럼 일치를 보였다. - **응용 사례 – 습지 매핑**: 합성 SWIR를 활용해 NDWI와 같은 지표를 계산하고, 기존 VNIR 기반 습지 분류와 비교했다. SWIR를 포함한 모델은 물체 구분 정확도가 5 % 이상 상승했으며, 특히 얕은 물과 토양을 구분하는 데 유리함을 보였다. ### 5. 논의 및 한계 DeepSWIR는 저해상도 SWIR와 고해상도 VNIR 사이의 스펙트럼 매핑을 직접 학습함으로써, 기존 스케일 불변성 가정에 의존하지 않는다. 이는 데이터 생성 단계에서 발생하는 인위적 노이즈를 크게 감소시킨다. 또한, 전역·국부 잔차 구조와 Gaussian feathering 스티칭은 대규모 위성 이미지 처리에 실용적인 솔루션을 제공한다. 하지만 몇 가지 제한점도 존재한다. 첫째, 훈련 데이터가 인도 내 특정 기후·지형에 국한되어 있어, 다른 대륙이나 극지 환경에서의 일반화 성능이 검증되지 않았다. 둘째, 5 m VNIR 자체의 센서 노이즈와 방사 보정 오류가 최종 SWIR 품질에 전이될 가능성이 있다. 셋째, 현재 모델은 단일 스펙트럼 밴드(SWIR)만을 목표로 하며, 다중 밴드 동시 합성이나 전반적인 스펙트럼 재구성을 다루지는 않는다. ### 6. 향후 연구 방향 - **다중 지역·다중 센서 학습**: WorldView‑3, PlanetScope 등 다양한 고해상도 센서와 결합해 데이터 다양성을 확대하고, 교차 검증을 수행한다. - **GAN 기반 텍스처 강화**: 현재 CNN 구조에 GAN 디스크리미네이터를 추가해, 합성 이미지의 텍스처와 고주파 성분을 더욱 사실적으로 재현한다. - **멀티밴드 합성 프레임워크**: SWIR 외에도 NIR‑SWIR, TIR 등 연속 스펙트럼 밴드를 동시에 합성하는 멀티태스크 네트워크를 설계한다. - **실시간 처리 파이프라인**: Edge GPU 또는 클라우드 기반 스트리밍 환경에서 실시간으로 대규모 위성 데이터를 처리할 수 있는 경량화 모델을 연구한다. 결론적으로, DeepSWIR는 저해상도 SWIR와 고해상도 VNIR의 스펙트럼·공간 정보를 효과적으로 융합해 5 m 수준의 가상 SWIR 밴드를 생성하는 데 성공했으며, 정량·정성 평가와 실제 응용 사례를 통해 실용성을 입증하였다. 이는 고해상도 SWIR 데이터가 제한적인 현재 원격탐사 분야에서 새로운 분석 가능성을 열어줄 것으로 기대된다.