훈련 없이 텍스트 기반 원격탐사 이미지 분할 구현

초록

본 논문은 사전 학습된 비전 언어 모델(VLM)과 Segment Anything Model(SAM)을 결합해 추가 학습 없이 원격탐사 이미지에서 텍스트 기반 분할을 수행한다. 대조형 VLM인 CLIP을 마스크 선택기에 활용한 완전 제로샷 파이프라인과, 생성형 VLM(GPT‑5, Qwen‑VL)으로 클릭 프롬프트를 생성해 SAM을 구동하는 두 가지 접근법을 제안한다. 후자는 경량 LoRA 튜닝을 통해 추론 성능을 크게 향상시킨다. 19개 벤치마크에서 최첨단 성능을 달성했으며, 코드 공개를 약속한다.

상세 분석

이 연구는 기존 원격탐사 분야에서 텍스트 기반 분할을 위해 별도의 마스크 디코더, 어댑터, 혹은 토큰 브릿지를 추가 학습하는 방식을 탈피하고, 순수하게 사전 학습된 기반 모델만을 이용해 ‘훈련‑프리’ 혹은 ‘경량 LoRA‑튜닝’ 파이프라인을 구현한다는 점에서 혁신적이다. 첫 번째 대조형 파이프라인은 CLIP을 이용해 이미지‑텍스트 임베딩을 얻고, SAM이 생성한 격자 기반 마스크 제안 집합에 대해 픽셀‑단위 전경 확률을 계산한다. 확률이 일정 임계값을 초과하는 마스크를 선택하고, 다중 클래스 상황에서는 각 마스크에 가장 많이 포함된 클래스 라벨을 할당해 최종 세그멘테이션을 만든다. 여기서 CLIP의 전역 편향을 보정하기 위해 토큰을 스케일링해 차감하는 디바이싱 기법을 적용한다는 점이 실용적이다. 두 번째 생성형 파이프라인은 GPT‑5 혹은 Qwen‑VL과 같은 대형 생성형 VLM이 텍스트 명령을 입력받아 목표 영역을 가리키는 클릭 좌표(양성·음성)를 출력하도록 설계한다. 이 클릭은 SAM에 직접 프롬프트로 전달돼 고품질 마스크를 생성한다. 클릭 시퀀스는 기존 마스크 데이터를 활용해 자동으로 합성하며, 이를 통해 생성형 VLM을 클릭 예측 모델로 학습한다. 특히 LoRA를 적용한 경량 파인튜닝을 수행함으로써, 대규모 파라미터를 고정한 채도 성능을 크게 끌어올릴 수 있다. 실험에서는 19개의 원격탐사 벤치마크(OVSS, Referring, Reasoning)에서 기존 최첨단 방법들을 능가했으며, 특히 복합적인 추론 프롬프트에 대해 LoRA‑튜닝된 Qwen‑VL이 가장 높은 정확도를 기록했다. 전체 파이프라인이 GPU 메모리와 연산 효율 면에서 경쟁력 있음을 보여주며, 실제 현장 적용 시 별도 데이터 라벨링이나 모델 재학습 없이도 다양한 지리적·시나리오적 요구에 대응할 수 있다. 이와 같이 본 논문은 VLM과 SAM의 시너지 효과를 극대화함으로써, 원격탐사 분야에서 ‘훈련‑프리’ 텍스트 기반 세그멘테이션의 새로운 패러다임을 제시한다.