비전 기반 파운데이션 모델과 그래프 확산을 활용한 초소량 객체 탐지

초록

FSOD‑VFM은 범용 제안 네트워크(UPN), SAM2 마스크 모델, DINOv2 특징 추출기를 결합해 훈련 없이도 소수 샷 객체 탐지를 가능하게 한다. UPN이 만든 과도하게 세분된 박스들을 그래프 기반 확산으로 신뢰도를 재조정해 전체 객체에 높은 점수를, 파편에 낮은 점수를 부여한다. Pascal‑5ⁱ, COCO‑20ⁱ, CD‑FSOD 등에서 기존 방법을 크게 앞서며, 특히 CD‑FSOD 10‑shot에서 31.6 AP를 기록한다.

상세 분석

본 논문은 최근 급부상한 비전 파운데이션 모델(VFM)을 초소량 객체 탐지(FSOD) 문제에 직접 적용한다는 점에서 혁신적이다. 세 가지 핵심 모듈을 파이프라인에 연결한다. 첫째, Universal Proposal Network(UPN)는 사전 학습된 DETR 기반 모델로 클래스‑agnostic한 박스를 대량 생성한다. 그러나 UPN은 객체의 전체 영역을 포착하기보다 눈에 띄는 부분만을 잡아내는 ‘over‑fragmentation’ 현상이 빈번히 발생한다. 둘째, SAM2는 이러한 박스를 입력받아 고정밀 마스크를 생성함으로써 ROI‑based 특징 추출 시 잡음 감소와 정확한 객체 영역 정의를 가능하게 한다. 셋째, DINOv2는 대규모 자기지도 학습으로 얻은 강력한 이미지 특징을 제공하며, 지원 이미지와 쿼리 이미지 간의 코사인 유사도를 통해 클래스 프로토타입을 구축한다.

핵심 기여는 그래프 확산 기반 신뢰도 재가중이다. 각 제안 박스를 그래프의 노드로 보고, 노드 간 에지는 두 박스의 마스크 겹침 비율과 UPN 점수 차이에 따라 방향성을 부여한다. 구체적으로, 높은 UPN 점수를 가진 노드에서 낮은 점수를 가진 노드로 에너지를 흐르게 함으로써, 작은 파편 박스는 점차 신뢰도가 감소하고, 큰 전체 박스는 유지된다. 이 과정은 30번 이상의 diffusion step을 거쳐 수렴하며, 실험적으로 고품질 박스(IoU > 0.75)의 점수는 유지되고 저품질 박스(IoU < 0.1)는 크게 감소한다는 것이 확인되었다.

또한, 본 방법은 ‘training‑free’라는 점에서 기존 메타‑학습이나 파인‑튜닝 기반 FSOD와 차별화된다. 지원 세트에서 K개의 라벨 박스만 사용해 클래스 프로토타입을 평균화하고, 이후 쿼리 이미지에 대해 UPN‑SAM2‑DINOv2 파이프라인만으로 탐지를 수행한다. 따라서 추가 데이터나 GPU‑집약적인 재학습이 필요 없으며, 다양한 도메인(일반 이미지, 의료, 자율주행 등)에서 바로 적용 가능하다.

실험 결과는 Pascal‑5ⁱ, COCO‑20ⁱ, CD‑FSOD 세 벤치마크에서 기존 최첨단 방법들을 크게 앞선다. 특히 CD‑FSOD 10‑shot에서 31.6 AP를 달성했으며, 이는 동일 조건의 training‑free 방법(21.4 AP) 대비 10 AP 포인트 이상 향상된 수치이다. Ablation study에서는 그래프 확산 단계 없이도 기본 파이프라인이 어느 정도 성능을 보이지만, diffusion을 추가함으로써 평균 AP가 4~6 % 상승함을 보여준다.

이 논문은 (1) VFM을 직접 활용한 ‘zero‑training’ FSOD 프레임워크, (2) 그래프 확산을 통한 과도한 박스 분할 억제 메커니즘, (3) 다양한 데이터셋에 대한 범용성 검증이라는 세 축을 동시에 만족한다는 점에서 향후 VFM 기반 실시간 감시, 로봇 비전, 의료 영상 등 실용 분야에 큰 파급 효과를 기대한다.