완벽히 정렬된 샘플 쌍을 이용한 원격탐사 이미지 대비학습 기반 모델

초록

본 논문은 원격탐사(RS) 이미지의 특성을 고려해, 무작위 크롭 대신 공간적으로 서로 겹치지 않는 마스크를 적용해 완벽히 의미적으로 정렬된 샘플 쌍을 생성한다. 교사‑학생 구조와 마스크 토큰 예측을 결합한 PerA 프레임워크는 메모리 효율성을 높이며 대규모 배치 학습이 가능하도록 설계되었다. 5백만 장 규모의 비라벨링 RS 데이터셋(RSRSD‑5m)으로 사전학습한 뒤, 이미지 분류, 의미분할, 변화 감지 등 다양한 다운스트림 과제에서 기존 최첨단 대비학습 방법과 동등하거나 우수한 성능을 보였다.

상세 분석

PerA는 기존 대비학습(Contrastive Learning, CL)이 원격탐사 이미지에 적용될 때 발생하는 ‘semantic inconsistency’를 근본적으로 해결한다. 일반적인 CL은 랜덤 크롭을 통해 두 뷰를 생성하지만, RS 이미지에서는 객체가 작고 산재해 있어 크롭이 의미 정보를 크게 손실하거나 전혀 다른 장면을 만들 위험이 크다. 이를 방지하기 위해 PerA는 원본 이미지를 동일하게 유지하면서, 서로 겹치지 않는 두 개의 마스크를 무작위로 적용한다. 마스크는 작은 패치(예: 16×16) 단위로 구성되어, 최소 객체보다 작은 크기로 설정하면 두 뷰가 동일한 의미 정보를 포함하게 된다. 이렇게 생성된 ‘perfectly aligned’ 샘플 쌍은 교사 네트워크와 학생 네트워크 사이의 일관성을 강제하면서도, 마스크 토큰을 예측하는 MIM(Masked Image Modeling) 손실을 동시에 학습한다. 교사‑학생 구조는 BYOL과 유사하게 부정 샘플 없이도 표현 학습이 가능하도록 하며, 마스크된 입력이 희소(sparse)하기 때문에 메모리 사용량이 크게 감소한다. 결과적으로 배치 크기를 크게 확대할 수 있어 대규모 데이터셋에서의 학습 효율이 크게 향상된다.

데이터 측면에서 저자들은 Google Earth Engine을 활용해 전 세계 6대륙에서 무작위 샘플 포인트를 추출하고, ESRI 10‑m 토지 이용/피복 지도와 도시·농경·습지·수역 등 카테고리 비율을 조정해 5백만 장 규모의 비라벨링 이미지 집합(RSRSD‑5m)을 구축하였다. 이는 기존 공개 RS 데이터셋보다 규모가 크고, 라벨링 없이도 다양한 지형·환경을 포괄한다는 점에서 의미가 크다.

실험에서는 AID(이미지 분류), ISPRS Potsdam(의미분할), LEVIR‑CD(변화 감지) 등 대표적인 RS 벤치마크에 대해 사전학습된 PerA 모델을 파인튜닝하였다. 결과는 동일하거나 더 작은 모델 규모에서도 기존 CL 기반 방법(MoCo, SimCLR, BYOL 등)과 비교해 동일 수준 이상의 정확도·IoU·F1 점수를 기록했다. 특히 변화 감지와 같은 픽셀‑레벨 작업에서 MIM 요소가 기여한 것으로 보이며, 메모리 효율성 덕분에 대배치 학습이 가능해 학습 시간도 단축되었다.

한계점으로는 마스크 패치 크기와 비율 선택이 데이터셋에 따라 민감하게 작용할 수 있다는 점, 그리고 현재는 RGB 단일 스펙트럼에 초점을 맞추었으므로 멀티스펙트럼·SAR 등 다른 센서와의 확장 가능성에 대한 추가 연구가 필요하다는 점을 들 수 있다. 전반적으로 PerA는 RS 이미지의 고유한 특성을 반영한 간단하면서도 효과적인 SSL 프레임워크로, 향후 다양한 원격탐사 응용 분야에 활용될 잠재력이 크다.