고해상도 위성영상 변화를 잡아내는 하이브리드 CNN‑Transformer 네트워크

초록

EHCTNet은 CNN과 Transformer를 결합한 이중‑브랜치 구조에 주파수‑주의 모듈과 KAN 기반 채널·공간 attention을 추가해, 초·중·고차 변화 정보를 순차적으로 정제한다. 첫 번째 FFT‑모듈은 저차원 세부 특징을 강조하고, 토큰 마이닝 Transformer는 의미‑토큰을 추출한다. 두 번째 FFT‑모듈은 의미 토큰의 주파수 성분을 다시 정제해 변화 차이를 강화한다. 실험 결과 LEVIR‑CD 등에서 기존 SOTA 대비 Recall·F1·IoU를 모두 상승시켰으며, 연속적이고 완전한 변화 영역을 시각적으로도 잘 복원한다.

상세 분석

EHCTNet은 원본 논문에서 제시된 “변화 감지에서 거짓 양성보다 거짓 음성이 더 큰 비용을 초래한다”는 가정에 기반해 Recall을 우선시하는 설계 철학을 갖는다. 이를 위해 네트워크는 크게 다섯 개 모듈로 구성된다. 첫 번째인 Dual‑Branch Feature Extraction(HCT)에서는 ResNet‑50 기반 CNN 인코더와 3개의 Transformer 디코더를 병렬·공유 파라미터로 배치해, 로컬 텍스처와 글로벌 컨텍스트를 동시에 학습한다. 여기서 α라는 학습 가능한 가중치를 도입해 로컬·글로벌 피처의 기여도를 동적으로 조절한다는 점은 멀티스케일 특성 통합에 유연성을 제공한다.

두 번째 모듈인 Refined Module I은 FFT → Gating → IFFT 흐름으로 구성된 주파수‑주의 블록이다. FFT를 통해 공간 도메인 피처를 주파수 스펙트럼으로 변환하고, 가중 게이팅 메커니즘이 각 주파수 성분의 중요도를 학습한다. 이후 IFFT로 복원하면서 저주파·고주파 정보를 보강한다. 이 과정은 “첫 차원(First‑order) 피처”라 명명되며, 미세한 경계와 텍스처를 강조해 이후 단계에서 놓치기 쉬운 작은 변화까지 포착한다.

세 번째인 Enhanced Token Mining 기반 Transformer는 두 부분으로 나뉜다. CKSA 블록은 기존의 채널·공간 attention에 KAN(Kernel‑Based Adaptive Network) 레이어를 삽입해 비선형 활성화 함수를 학습한다. KAN은 각 채널의 기여도를 정밀하게 추정하고, 파라미터 효율성을 높인다. 이를 통해 얻어진 토큰은 의미‑레벨의 “Semantic Token”으로, 변화를 나타내는 고차원 개념을 압축한다. 이어지는 Transformer 유닛은 다중 헤드 어텐션을 활용해 토큰 간 전역 관계를 모델링한다. 이때 토큰 자체가 이미 의미를 내포하고 있기 때문에, 전통적인 픽셀‑레벨 어텐션보다 연산 비용이 낮으면서도 변화를 효과적으로 연결한다.

네 번째인 Refined Module II는 Module I와 구조적으로 대칭되지만, 입력이 의미 토큰이므로 “두 차원(Second‑order) 의미 차이”를 추출한다. 동일한 FFT‑Gating‑IFFT 파이프라인을 거치면서 의미 토큰의 주파수 성분을 정제하고, 변화 영역 간의 미세한 차이를 강조한다.

마지막 Detection Head는 Element‑wise Add/Subtract와 간단한 Classifier를 통해 최종 2‑채널 변화 맵을 출력한다. 전체 파이프라인은 “주파수 → 의미 토큰 → 주파수” 순환 구조를 이루어, 저차원 세부 정보와 고차원 의미 정보를 반복적으로 강화한다는 점이 혁신적이다.

실험에서는 LEVIR‑CD 데이터셋을 중심으로 7개 SOTA 모델(Fc‑Siam‑Conc, VcT, IFNet 등)과 비교했으며, Recall 86.83 %·F1 87.67 %·IoU 78.05 % 등 전반적인 성능이 가장 높았다. 특히 시각화 결과에서 연속적인 변화 영역과 인접 영역 구분이 뚜렷해, 실제 재난·불법 건설 감시와 같은 고Recall 요구 상황에 적합함을 보여준다.

하지만 몇 가지 한계도 존재한다. 첫째, FFT‑Gating‑IFFT 모듈은 복소수 연산을 포함해 메모리·연산 비용이 증가한다. 논문에서는 경량화 방안이나 하드웨어 최적화에 대한 논의가 부족하다. 둘째, KAN 기반 CKSA는 기존의 Squeeze‑Excitation보다 파라미터가 적지만, 실제 학습 안정성에 대한 실험이 부족해 재현성에 의문이 남는다. 셋째, 데이터셋이 주로 고해상도 광학 영상에 국한돼 있어, SAR·멀티스펙트럼 등 이질적인 모달리티에 대한 일반화 성능은 검증되지 않았다.

종합하면, EHCTNet은 주파수‑주의와 의미‑토큰 마이닝을 결합한 새로운 하이브리드 설계로, Recall 중심의 변화를 효과적으로 포착한다. 향후 경량화, 멀티모달 확장, 그리고 실시간 적용을 위한 최적화 연구가 진행된다면, 실제 원격탐사 운영 시스템에 바로 적용 가능한 수준의 임팩트를 기대할 수 있다.