사전 인식 정규화 컷 기반 약지도 객체 분할

초록

PANC은 소수의 토큰 레벨 주석을 앵커 노드로 그래프에 삽입해 스펙트럴 정규화 컷을 수행함으로써, 기존 무감독 방법이 갖는 불안정성을 해소하고 사용자 제어가 가능한 고품질 객체 마스크를 얻는 약지도 세그멘테이션 프레임워크이다.

상세 분석

본 논문은 최근 Vision Transformer 기반 토큰 임베딩을 활용한 무감독 객체 발견 기법(TokenCut 등)의 한계를 정확히 짚어낸다. 무감독 방법은 “가장 눈에 띄는” 객체를 자동으로 선택하지만, 다중 객체·동일 색상·텍스처가 부족한 이미지에서는 임의의 영역을 선택하거나 전혀 의미 없는 결과를 초래한다. 이러한 불확실성을 해결하기 위해 저자는 최소한의 인간 주석—몇 개의 토큰에 대한 긍정·부정 라벨—을 사전(prior)으로 구축하고, 이를 그래프의 앵커 노드로 삽입한다. 앵커는 두 개(전경, 배경)이며, 토큰‑앵커 연결 가중치는 전체 토큰 간 평균 친화도에 비례하도록 설계돼, 기존의 밀집 자기지도 특징이 유지되면서도 라벨에 맞는 방향으로 스펙트럼 고유벡터(Fiedler vector)가 편향된다.

핵심 수학적 구성은 다음과 같다. 먼저 DINOv3 등 최신 자기지도 ViT에서 추출한 n개의 패치 임베딩 f_i를 정규화하고, 코사인 유사도를 온도 τ 로 스케일링한 후 exp 함수로 비음수 가중치 W_feat을 만든다. 이후 앵커‑토큰 연결 행렬 C (n×2)를 정의하고, 균일 결합 강도 α = κ·mean(W_feat) 로 설정한다. 최종 인접 행렬은 블록 형태 W =