비전 트랜스포머 기반 무라벨 동물 이미지 제로샷 클러스터링 벤치마크

초록

**
본 연구는 최신 Vision Transformer(ViT) 기반 모델들의 임베딩을 활용해 라벨이 없는 카메라 트랩 사진을 종 수준으로 자동 군집화하는 가능성을 평가한다. 5개 ViT 모델·5개 차원 축소 기법·4개 클러스터링 알고리즘을 60종(포유류·조류) 각각 200장의 검증 이미지에 적용해 V‑measure 0.958까지 도달했으며, 비지도 방식도 0.943 수준의 성능을 보였다. 또한 장기간 분포와 성·연령·털색 차이와 같은 종내 변이를 추출할 수 있음을 입증한다.

**

상세 분석

**
이 논문은 생태학 현장에서 라벨링 비용을 최소화하려는 실용적 요구에 초점을 맞추어, Vision Transformer(ViT) 기반 ‘foundation model’이 실제 무라벨 데이터에서 종 구분을 얼마나 잘 수행하는지를 체계적으로 검증한다. 먼저 5가지 최신 ViT 모델(DINOv2, DINOv3, CLIP‑ViT‑B/16, BioCLIP, BioCLIP‑2)을 선택하고, 각각의 고차원 임베딩을 5가지 차원 축소 기법(PCA, UMAP, t‑SNE, PHATE, Isomap)으로 2‑D 혹은 3‑D 공간에 투영한다. 차원 축소 단계는 군집화 알고리즘의 성능에 큰 영향을 미치며, 저자들은 t‑SNE가 지역 구조를 가장 잘 보존해 종별 클러스터를 명확히 구분한다는 점을 확인했다.

클러스터링은 두 가지 감독 방식(계층적 군집화와 K‑means)과 두 가지 비감독 방식(HDBSCAN, Gaussian Mixture Model)으로 구성된다. 감독 방식은 사전에 종 수를 알려주는 ‘seed’ 정보를 활용해 최적의 연결 방식을 찾으며, 비감독 방식은 밀도 기반으로 자동 군집 수를 추정한다. 실험 결과, DINOv3 임베딩‑t‑SNE‑계층적 군집화 조합이 V‑measure 0.958이라는 거의 완벽에 가까운 성능을 보였고, 비감독 HDBSCAN 역시 0.943이라는 높은 점수를 기록했다. 특히 비감독 방법은 전체 이미지 중 1.14%만을 이상치(Outlier)로 판정해 전문가 검토가 필요한 양을 최소화했다.

데이터셋은 60종(포유류·조류) 각각 200장의 검증된 이미지(총 12,000장)를 무작위 추출했으며, 장기적(롱테일) 종 분포를 모사하기 위해 일부 종은 5,000장 이상, 일부는 400장 이하로 불균형을 두었다. 이러한 불균형 상황에서도 모델은 희귀 종을 비교적 안정적으로 구분했으며, 특히 DINOv3‑t‑SNE 조합은 희귀 종의 클러스터를 과소합성(over‑clustering) 없이 정확히 식별했다.

종내 변이 탐색에서는 ‘의도적 오버클러스터링’ 전략을 적용해 군집 수를 실제 종 수보다 크게 설정했다. 결과적으로 연령군(새끼·성체), 성적 이형성(수·암), 계절적 털색 변화 등 생태학적으로 의미 있는 서브클러스터가 자동으로 형성되었으며, 이는 기존 감독식 분류기가 놓치기 쉬운 미세 변이를 포착하는 데 유용함을 시사한다.

기술적 한계로는 (1) 고차원 임베딩을 차원 축소하는 과정에서 계산 비용이 크게 증가하고, 특히 t‑SNE는 대규모 데이터셋(수십만 이미지)에서는 실행 시간이 제한적이다. (2) 일부 종은 배경 잡음이나 카메라 각도에 민감해 임베딩이 혼합되는 현상이 관찰됐으며, 이는 모델이 동물의 핵심 특징보다 배경 정보를 과도하게 학습했을 가능성을 보여준다. (3) 비감독 클러스터링은 밀도 기반 파라미터(eps, min_samples)의 민감도가 높아, 자동 튜닝이 필요하다.

마지막으로 저자들은 오픈소스 벤치마크 툴킷과 웹 기반 시각화 인터페이스를 제공해, 연구자가 직접 모델·차원축소·클러스터링 조합을 실험하고 결과를 탐색할 수 있게 했다. 이는 향후 다양한 생태계와 카메라 트랩 프로젝트에 빠르게 적용할 수 있는 실용적 기반을 마련한다.

**