다이나믹비전 효율적인 원격탐사 기반 모델을 위한 동적 시각 인식

초록

본 논문은 고해상도 원격탐사 영상에서 목표 객체가 전체 면적의 1% 미만에 불과한 극심한 공간 희소성을 고려해, 기존 ViT 기반 모델의 비효율성을 극복하고자 한다. 동적 토큰 라우팅과 상태공간 모델(SSM)을 결합한 DynamicVis 아키텍처를 제안하고, 지역 수준 메타임베딩을 활용한 다중인스턴스 학습(MIL) 사전학습 방식을 도입해 전경‑배경 구분 능력을 강화한다. 1천만 규모 데이터로 사전학습한 뒤 9개의 다운스트림 과제(소형 객체 검출, 인스턴스 분할, 변화 탐지 등)에서 기존 최첨단 모델을 크게 앞선 성능을 보이며, 2048×2048 이미지 처리 시 메모리 833 MB, 지연 97 ms라는 뛰어난 효율성을 입증한다.

상세 분석

DynamicVis는 원격탐사 영상의 고유 특성인 ‘극심한 목표 희소성’과 ‘대규모 배경 중복’이라는 두 축을 핵심 설계 목표로 삼는다. 기존 Vision Transformer(ViT)와 Masked AutoEncoder(MAE) 기반 모델은 모든 토큰에 균등하게 연산을 할당하고, 픽셀 수준 재구성을 목표로 하기 때문에 배경 텍스처를 과도하게 학습하게 된다. 이는 연산량이 O(N²)인 자기‑주의 메커니즘과 결합돼, 2048×2048 규모의 이미지에서는 수십만 토큰을 처리해야 하는 비효율성을 초래한다.

DynamicVis는 이를 해결하기 위해 ‘Dynamic Region‑Aware State Space Model(SSM)’이라는 새로운 백본을 설계한다. 핵심은 동적 토큰 라우팅이다. 입력 이미지가 토큰화된 뒤, 각 토큰에 대해 학습 가능한 중요도 스코어를 계산하고, 사전 정의된 임계값 이상인 토큰만을 ‘고 salience’ 토큰으로 선정한다. 선정된 토큰은 이중 경로 SSM(전방 및 역방향 스캔)으로 깊이 있게 모델링되며, 나머지 토큰은 파라미터가 없는 residual 연결을 통해 배경 컨텍스트만 전달한다. 이렇게 하면 연산 복잡도가 O(K·L) (K는 선택된 토큰 수, L은 시퀀스 길이)로 감소하고, 배경 토큰에 대한 메모리 사용량도 크게 줄어든다.

하지만 동적 라우팅이 효과를 발휘하려면 모델이 전경‑배경을 정확히 구분할 수 있어야 한다. 이를 위해 저자들은 ‘Region‑Level Meta‑Embedding Multi‑Instance Learning (MIL)’ 사전학습 방식을 도입한다. 대규모 약한 지역 라벨(예: fMoW) 데이터를 ‘bag‑of‑instances’ 형태로 취급하고, 각 지역 패치를 시각 임베딩으로 변환한 뒤, 클래스 메타‑임베딩과 대비 학습한다. 이 과정에서 전경 인스턴스는 메타‑임베딩과 높은 유사도를, 배경은 낮은 유사도를 갖도록 강제함으로써, 잠재 공간에서 전경‑배경 구분 경계를 명확히 만든다. 결과적으로 라우팅 모듈은 사전학습된 중요도 스코어를 통해 실제 작업에서 작은 객체를 놓치지 않고 선택할 수 있다.

실험에서는 9개의 서로 다른 다운스트림 과제(씬 분류, 작은 선박 검출, 건물 추출, 이미지 검색, 지역 분류, SAR 인스턴스 분할, 광학 인스턴스 분할, 도로 분할, 변화 탐지)를 대상으로 비교했다. 특히 작은 객체 검출·인스턴스 분할·변화 탐지와 같이 전경이 극히 희소한 과제에서 mAP 혹은 IoU가 기존 ViT‑base, SatMAE, RingMo 등을 크게 앞섰다. 동시에, 2048×2048 입력에 대해 메모리 833 MB, 지연 97 ms라는 수치를 기록했으며, 이는 동일 조건의 ViT‑base 대비 각각 6 %와 3 % 수준이다.

이 논문의 주요 기여는 다음과 같다. (1) 원격탐사 영상의 공간 희소성을 명시적 inductive bias로 도입한 DynamicVis 아키텍처 설계, (2) 선형 복잡도의 SSM에 동적 토큰 라우팅을 결합해 초고해상도 이미지 처리 효율성 극대화, (3) 지역 메타‑임베딩 기반 MIL 사전학습으로 전경‑배경 구분 능력 강화, (4) 다양한 과제에서 효율성과 정확성을 동시에 달성한 실증적 검증. 이러한 접근은 앞으로 고해상도 위성·항공 영상 분석, 실시간 재난 모니터링, 대규모 지리정보 시스템 등에 적용 가능성이 크다.