위성 이미지 약한 지도학습 변화를 위한 적대적 클래스 프롬프트

초록

본 논문은 이미지‑레벨 라벨만 이용하는 약한 지도학습(Change Detection)에서 배경 변동에 의해 발생하는 오탐을 감소시키기 위해 ‘적대적 클래스 프롬프트(AdvCP)’를 제안한다. 잘못된 라벨을 인위적으로 삽입해 배경 변동 픽셀을 노이즈 샘플로 추출하고, 지수 가중 이동 평균으로 구축한 전역 프로토타입을 이용해 이 샘플을 정제함으로써 기존 WSCD 모델에 별도 파라미터 없이 성능을 6~7% IoU 향상시킨다.

상세 분석

AdvCP는 두 단계로 구성된다. 첫 번째 단계인 ‘적대적 프롬프트 마이닝(Adversarial Prompt Mining)’에서는 ‘unchanged’ 라벨을 가진 이미지 쌍에 대해 라벨을 강제로 ‘changed’ 로 전환한다. 이때 모델은 기존에 무시하던 배경 변동 영역을 변화 영역으로 오인하게 되며, 결과적으로 생성된 CAM(또는 Grad‑CAM)에서 배경 변동에 해당하는 픽셀들이 높은 활성값을 갖는다. 이러한 픽셀 집합을 ‘적대적 샘플’이라 정의하고, 이후 단계에서 정제 대상이 된다.

두 번째 단계인 ‘적대적 샘플 정제(Adversarial Sample Rectification)’에서는 현재 배치와 과거 모든 배치에서 추출된 특징을 지수 가중 이동 평균(EMA) 방식으로 누적해 전역 프로토타입을 만든다. 이 프로토타입은 클래스별 평균 특징을 나타내며, 학습 중에 발생한 적대적 샘플과의 거리(또는 코사인 유사도)를 최소화하도록 손실을 추가한다. 즉, 배경 변동 샘플이 프로토타입과 멀어지도록 유도해 모델이 ‘배경 변동 = 변화’라는 잘못된 매핑을 학습하지 못하게 한다.

핵심 아이디어는 ‘이미지‑레벨 라벨만으로는 변화를 정확히 구분하기 어렵다’는 점을 이용해, 라벨을 의도적으로 오염시켜 모델이 스스로 노이즈를 드러내게 만든 뒤, 전역 프로토타입이라는 무편향 기준으로 이를 억제한다는 것이다. 이 과정은 학습 파이프라인에 삽입되지만 추론 시에는 전혀 추가 비용이 발생하지 않는다.

실험에서는 ConvNet 기반, Transformer 기반, 그리고 최신 Segment Anything Model(SAM) 기반의 6가지 WSCD 베이스라인에 AdvCP를 적용하였다. WHU‑CD, LEVIR‑CD, DSIFN‑CD 세 데이터셋에서 각각 평균 IoU 7.37%, 7.46%, 6.56% 향상을 기록했으며, 특히 배경 변동이 심한 장면에서 오탐이 크게 감소하였다. 추가적인 ablation study에서는 (1) 라벨 반전 없이 일반적인 데이터 증강만 적용했을 때의 성능, (2) 전역 프로토타입 대신 배치‑내 프로토타입을 사용했을 때의 효과, (3) EMA decay 파라미터 변화에 따른 민감도를 분석하였다. 결과는 AdvCP가 라벨 반전과 전역 프로토타입 결합이 가장 큰 시너지 효과를 낸다는 것을 보여준다.

또한, WSCD 외에도 완전 지도학습 기반 변화 탐지와 다중 클래스 약한 지도 세그멘테이션에 AdvCP를 적용해 동일하게 성능 향상을 확인하였다. 이는 AdvCP가 ‘클래스 프롬프트’를 이용한 일반적인 약한 지도 학습 프레임워크에 플러그‑인 방식으로 적용 가능함을 의미한다.

한계점으로는 (i) ‘unchanged’ 라벨이 충분히 많은 경우에만 적대적 샘플이 풍부하게 생성될 수 있다는 점, (ii) EMA 기반 전역 프로토타입이 초기 단계에서 불안정할 수 있어 학습 초반에 warm‑up이 필요할 수 있다는 점을 들 수 있다. 향후 연구에서는 라벨 불균형을 완화하기 위한 샘플링 전략과, 프로토타입을 동적으로 클러스터링해 다중 모드 특징을 포착하는 방법을 탐색할 여지가 있다.

요약하면 AdvCP는 약한 지도학습 변화 탐지에서 배경 변동에 의한 오탐을 효과적으로 억제하는 간단하면서도 강력한 전략으로, 기존 모델에 거의 비용 없이 적용 가능하며, 다양한 원격 탐사 응용 분야에 확장 가능성이 크다.