Mamba‑FCS: 공간‑주파수 융합과 변화‑유도 어텐션으로 강화된 시맨틱 변화 탐지

초록

본 논문은 선형 복잡도의 상태공간 모델인 Mamba를 백본으로 사용하고, 로그‑진폭 푸리에 특성을 결합한 스페이셜‑프리퀀시 융합 블록, 이진 변화 검출 결과를 활용해 시맨틱 디코더를 상호 보강하는 Change‑Guided Attention 모듈, 그리고 클래스 불균형에 강인한 Separated Kappa(SeK) 손실을 도입한 Mamba‑FCS 프레임워크를 제안한다. SECOND와 Landsat‑SCD 데이터셋에서 기존 최첨단 방법들을 크게 앞서며, 특히 희귀 변화 클래스와 경계 정밀도에서 눈에 띄는 향상을 보였다.

상세 분석

Mamba‑FCS는 최신 상태공간 모델(State‑Space Model, SSM)인 Visual Mamba(VMamba)를 공유 인코더로 채택함으로써, 기존 Transformer 기반 방법이 안고 있던 O(N²) 복잡도를 O(N)으로 낮추어 대규모 고해상도 위성영상에서도 실시간에 가까운 추론이 가능하도록 설계되었다. 인코더는 4단계의 다중 스케일 피처를 추출하고, 각 단계마다 VSS(Visual State‑Space) 블록을 삽입해 2D 선택적 스캔 방식으로 공간 해상도를 단계적으로 1/32까지 축소하면서 채널 차원을 확대한다.

핵심 기여 중 하나인 Joint Spatio‑Frequency Fusion(JSFF) 블록은 각 인코더 단계의 출력에 대해 2‑D 푸리에 변환을 수행하고, 로그‑진폭 스펙트럼을 추출한다. 이 주파수 도메인 특성은 고주파 에지와 텍스처 정보를 강조하고, 조도 변화나 계절성에 따른 스펙트럼 변동을 억제한다. 이후 공간 피처와 주파수 피처를 채널‑레벨 어텐션을 통해 동적으로 가중합함으로써, 경계가 흐릿하거나 조명에 민감한 영역에서도 명확한 변화 마스크를 생성한다.

Change‑Guided Attention(CGA) 모듈은 이진 변화 검출(BCD) 디코더에서 얻은 중간 변화 확률 맵을 두 개의 시맨틱 디코더(전·후 시점 각각)로 전달한다. CGA는 이 맵을 가중치로 활용해 시맨틱 피처에 변화‑중심 어텐션을 적용하고, 디코더 내부에서도 피드‑포워드와 스킵 연결을 통해 양방향 피드백을 수행한다. 결과적으로 BCD와 SCD가 서로의 오류를 보완하며, 특히 경계가 얽힌 복합 변화(예: 건물 → 도로)에서 라벨 혼동을 크게 감소시킨다.

클래스 불균형 문제를 직접 최적화하기 위해 제안된 Separated Kappa(SeK) 손실은 기존 평가 지표인 Kappa 계수를 미분 가능 형태로 변형한 것이다. 각 클래스별 관측된 혼동 행렬을 이용해 가중된 Kappa를 계산하고, 이를 최소화하도록 역전파한다. 이 손실은 희귀 클래스(예: 수역 → 농경지)의 Recall을 크게 끌어올리면서 전체 OA와 Fₛ₍ₛ₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍ (요약: SeK 손실은 희귀 클래스에 대한 가중치를 자동으로 조정한다).

실험 결과는 SECOND와 Landsat‑SCD 두 벤치마크에서 각각 OA 88.62% / 96.25%, Fₛ₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍₍ (SeK 점수 25.50 / 60.26) 등 기존 SOTA 대비 유의미한 향상을 기록한다. Ablation 연구에서는 JSFF, CGA, SeK 손실 각각이 독립적으로 성능을 끌어올리며, 특히 JSFF이 경계 선명도, CGA가 변화 일관성, SeK가 소수 클래스 재현율을 개선한다는 것이 확인되었다.

전반적으로 Mamba‑FCS는 (1) 선형 복잡도의 글로벌 피처 추출, (2) 주파수‑공간 융합을 통한 조도·노이즈 강인성, (3) BCD‑SCD 상호 보강 메커니즘, (4) 클래스 불균형에 특화된 손실 함수라는 네 축을 동시에 만족시켜, 실무적인 대규모 원격탐사 변화 감지 시스템에 바로 적용 가능한 수준의 효율성과 정확성을 제공한다. 향후 연구에서는 멀티스펙트럼·SAR 융합, 온라인 학습, 경량화된 모바일 배포 등을 탐색할 여지가 있다.