멀티스펙트럼 의미분할을 위한 다중 인코더 ConvNeXt와 부드러운 주의 융합 네트워크

초록

**
MeCSAFNet은 가시광선 채널과 비가시광선 채널을 각각 전용 ConvNeXt 인코더로 처리한 뒤, 별도 디코더와 다중 스케일 융합 디코더를 통해 특징을 결합한다. CBAM 모듈과 ASAU 활성화 함수를 적용해 주의 집중과 안정적인 학습을 강화했으며, 4채널(RGB+NIR) 및 6채널(RGB+NIR+NDVI+NDWI) 입력 모두에서 기존 U‑Net, DeepLabV3+, SegFormer 등을 크게 앞선 mIoU 향상을 기록한다. 경량 변형 모델도 훈련·추론 비용을 낮추면서 경쟁력 있는 정확도를 유지한다.

**

상세 분석

**
MeCSAFNet은 멀티스펙트럼 원격탐사 영상의 고유한 스펙트럼 특성을 고려한 설계가 돋보인다. 먼저 입력을 가시광선(RGB)과 비가시광선(NIR, NDVI, NDWI 등) 두 그룹으로 분리하고, 각각에 ConvNeXt‑Tiny/Small/Base 백본을 독립적으로 적용한다. ConvNeXt는 최신 CNN 설계에 트랜스포머‑영감 구조(Depth‑wise Convolution, LayerNorm, GELU 대체)와 큰 receptive field를 결합해, 고해상도 공간 정보와 복합 스펙트럼 변화를 동시에 포착한다.

각 인코더 뒤에는 전용 디코더가 존재하는데, 이는 스킵 연결을 통해 저수준 세부 정보를 복원하면서도 인코더 단계별 특징을 단계별로 업샘플링한다. 핵심은 “Fusion Decoder”로, 다중 스케일 피처맵을 피라미드 형태로 정렬한 뒤, 각 레벨에서 CBAM(Convolutional Block Attention Module) 기반 채널·공간 주의를 적용한다. CBAM은 가시광선과 비가시광선 특징 간의 상호 보완성을 학습 단계에서 자동으로 강조·억제함으로써, 단순 연결(concatenation)보다 복잡한 상관관계를 모델링한다.

또한, 활성화 함수로 ASAU(Adaptive Smooth Activation Unit)를 도입했는데, 이는 기존 ReLU·GELU 대비 출력 구간을 부드럽게 전이시켜 그래디언트 소실·폭주 현상을 완화한다. 실험 결과, ASAU는 특히 NDVI·NDWI와 같은 파생 지표가 포함된 6채널 입력에서 학습 안정성을 크게 향상시켰으며, 최종 mIoU 상승에 기여했다.

성능 평가에서는 Five‑Billion‑Pixels(FBP)와 ISPRS Potsdam 두 대규모 데이터셋을 사용했다. FBP에서는 MeCSAFNet‑Base(6c)가 U‑Net(4c) 대비 +19.21%, SegFormer(4c) 대비 +19.62%의 mIoU 개선을 보였으며, 4채널 설정에서도 유사한 격차를 유지했다. Potsdam에서는 MeCSAFNet‑Large(4c)가 DeepLabV3+(4c)보다 +6.48%, SegFormer(4c)보다 +9.11% 높은 mIoU를 기록했다. 경량 변형(예: MeCSAFNet‑Tiny)도 기존 경량 베이스라인 대비 2~4% 포인트의 절대적 향상을 달성하면서, 파라미터 수와 FLOPs를 30% 이상 절감했다.

복합적인 실험 설계(채널 수 변형, 다양한 백본 스케일, 다중 데이터셋)와 정량·정성 분석을 통해, MeCSAFNet이 멀티스펙트럼 이미지에서 스펙트럼·공간 정보를 효과적으로 분리·융합함을 입증했다. 또한, 코드 공개와 훈련·추론 효율성 보고는 실제 현장 적용 가능성을 높인다.

**