희소 시각 표현을 위한 공간 의미 분해

초록

STELLAR는 이미지 특징을 “무엇(semantic)”과 “어디(where)” 두 요소로 저랭크 행렬 분해하여, 16개의 희소 토큰만으로도 고품질 재구성(FID 2.60)과 이미지넷 선형 정확도 79.1%라는 강력한 의미 표현을 동시에 달성한다.

상세 분석

본 논문은 기존 자기지도 학습(SSL)이 직면한 “불변성 패러독스”를 명확히 규정한다. 의미 중심의 Joint Embedding 방식(DINO 등)은 변환에 대한 불변성을 강제함으로써 공간 좌표를 소멸시키고, 반면 마스크 이미지 모델링(MAE 등)은 픽셀 수준 재구성을 위해 밀집 그리드 형태의 특징을 유지하지만 의미 추상화가 약하다. 저자들은 이 딜레마가 “밀집 2D 그리드”라는 표현 형식 자체에서 비롯된다고 주장한다.

STELLAR는 이미지 특징을 두 개의 저차원 행렬 L(위치)과 S(의미)로 분해한다. 구체적으로, r개의 의미 토큰 s₁…sᵣ∈ℝᵈ를 학습하고, 각 패치 i에 대해 0≤lᵢⱼ≤1, Σⱼlᵢⱼ=1인 가중치 lᵢⱼ를 통해 vᵢ=Σⱼlᵢⱼ·sⱼ 로 표현한다. 이는 Z=LS 형태의 저랭크 근사이며, n·d 차원의 밀집 특징을 r·(n+d) 차원으로 압축한다.

공간 변환 T에 대해 ∂Z/∂θ는 L에만 의존하도록 설계함으로써, 의미 행렬 S는 변환에 대해 거의 불변(∂S/∂θ≈0)하고, 위치 행렬 L은 변환에 따라 적절히 equivariant하게 변화한다. 이 구조적 분리는 DINO식 불변성 정렬을 S에만 적용하고, 재구성 손실은 LS 전체에 적용함으로써 두 목표를 동시에 최적화한다.

의미 토큰의 구성을 촉진하기 위해 저자는 K개의 프로토타입 c₁…c_K를 도입하고, 토큰을 단위 구면에 정규화한 뒤 Sinkhorn‑Knopp 알고리즘을 이용해 균형 잡힌 클러스터 할당 q를 얻는다. 클러스터링 손실 L_cluster은 토큰이 의미적으로 구분된 군집에 모이도록 유도한다. 또한, 변환된 뷰와 원본 뷰 사이의 토큰 매칭을 최적 운송(optimal transport)으로 정의하고, 엔트로피 정규화된 Sinkhorn을 통해 빠르게 매칭 행렬 P를 구한다. 매칭된 토큰 쌍에 대해 교차 엔트로피 형태의 정렬 손실 L_align을 적용해 의미 불변성을 강화한다.

다양한 정규화 기법도 포함된다. 동일 이미지 내 토큰 간 최소 거리 최대화를 목표로 하는 KoLeo 정규화(L_KoLeo)는 의미 토큰 간의 중복을 억제한다. 전체 목표 함수는 재구성(L_recon), 클러스터링(L_cluster), 정렬(L_align), 클래스 토큰 전용 클러스터·정렬 손실, KoLeo 정규화를 가중치 a₁…a₆으로 가중합한 형태다.

구현 측면에서 저자는 ViT‑Base를 백본으로 사용하고, r개의 학습 가능한 쿼리 벡터를 추가해 토큰 S를 추출한다. 위치 행렬 L은 패치 특징 U와 토큰 S 사이의 코사인 유사도를 소프트맥스(temperature τ_spatial)로 정규화해 얻는다. 이는 단일 헤드 크로스‑어텐션과 유사하지만 L2 정규화와 별도 온도 파라미터를 사용한다.

실험 결과는 두 축에서 뛰어난 성능을 보여준다. 16개의 토큰만으로도 FID 2.60이라는 우수한 재구성 품질을 달성했으며, ImageNet‑1K 선형 프로빙 정확도 79.1%를 기록해 기존 밀집 백본과 동등하거나 상회한다. 토큰 수 r을 변화시킨 스케일링 실험에서는 토큰 수가 증가할수록 재구성(FID)과 의미 정확도 모두 점진적으로 향상되지만, 16~32 토큰 구간에서 이미 포화에 가까운 성능을 보인다. 또한, 픽셀 이동 및 무작위 크롭에 대한 L과 S의 변화량을 분석한 결과, L은 변환에 민감하게 변하지만 S는 거의 변하지 않아 불변성‑등변성 분리가 실험적으로 검증된다.

이러한 설계는 기존 SSL이 “하나의 밀집 표현”에 의존해 불가피하게 발생하던 트레이드오프를 근본적으로 해소한다는 점에서 의미가 크다. 특히, 희소 토큰 기반의 저랭크 표현은 메모리·연산 효율성을 크게 개선하면서도, 의미와 공간 정보를 명시적으로 분리함으로써 향후 멀티모달 결합, 디텍션, 세그멘테이션 등 다양한 다운스트림에 직접 활용 가능한 범용 비전 백본으로 활용될 가능성을 열어준다.