프로토타입 붕괴를 막는 완전 분리 학습 전략

초록

본 논문은 프로토타입 기반 자기지도 학습에서 발생하는 부분 프로토타입 붕괴 현상을 분석하고, 인코더와 프로토타입을 완전히 분리해 업데이트하는 새로운 학습 프레임워크를 제안한다. 가우시안 혼합 모델과 온라인 EM 방식을 이용해 프로토타입를 독립적으로 추정함으로써 붕괴를 방지하고, 다양한 다운스트림 태스크에서 성능 향상을 입증한다.

상세 분석

프로토타입 기반 SSL은 인코더가 학습한 임베딩을 사전에 정의된 K개의 프로토타입 벡터와 정렬시켜 클러스터링 효과를 얻는 것이 핵심이다. 기존 방법들은 인코더와 프로토타입을 동일한 손실(L_f) 하에 공동 최적화하는데, 이는 초기 학습 단계에서 손실을 빠르게 감소시키는 “단축 학습(shortcut learning)”을 유발한다. 구체적으로, 프로토타입이 서로 유사한 방향으로 급격히 이동하면서 서로 중복되는 클러스터 중심을 형성하고, 이는 정의 2.1에서 제시한 ϵ‑거리 기준을 만족하는 다수의 프로토타입 집합(V_m)을 만든다. 결과적으로 전체 프로토타입 집합 C는 실제 데이터 모드보다 훨씬 적은 수의 고유 프로토타입(U)만을 유지하게 된다(표 1에서 1.5%~43% 수준).

이 현상의 근본 원인은 두 가지로 해석할 수 있다. 첫째, 공동 최적화 시 프로토타입이 인코더 파라미터의 변화에 즉각적으로 반응하면서 손실 표면을 평탄하게 만든다. 손실이 낮아지는 방향이 반드시 의미 있는 표현 다양성을 보장하지 않으며, 오히려 “손실 최소화만을 위한” 프로토타입 집합을 형성한다. 둘째, EMA‑업데이트 방식으로 교사와 학생 프로토타입을 공유하면, 교사 프로토타입이 학생의 불안정한 업데이트에 의해 왜곡될 위험이 있다. 이는 특히 마스크드 이미지 모델링(iBOT)과 같이 입력 분포가 다를 때 더욱 심화된다.

논문은 이러한 메커니즘을 실험적으로 검증한다. DINO, DINOv2, CARP 등 다양한 최신 모델에 대해 프로토타입의 고유 비율을 측정했으며, CAPI와 같이 교사 프로토타입을 부분적으로 분리한 경우에만 붕괴가 현저히 감소함을 확인한다. 이를 바탕으로 저자들은 “완전 분리(Full Decoupling)” 전략을 제안한다. 핵심 아이디어는 다음과 같다.

1. 프로토타입 추정 단계: 현재 인코더(θ)에서 추출한 피처 h_t^ϕ를 사용해 가우시안 혼합 모델(GMM)을 온라인 EM 방식으로 업데이트한다. 이 단계는 손실 L_C를 최소화하며, 프로토타입 C_t는 인코더 파라미터와 무관하게 데이터 분포를 직접 반영한다.
2. 인코더 학습 단계: 고정된 프로토타입 C_t를 목표로 기존의 교차‑뷰 일관성 손실 L_f를 최소화한다. 여기서는 프로토타입이 변하지 않으므로 인코더는 프로토타입에 “의존적인” 단축 경로 없이 진정한 의미론적 특징을 학습한다.

이 두 단계는 번갈아 가며 수행되며, 각 단계는 서로의 파라미터에 그래디언트를 전파하지 않는다. 따라서 프로토타입이 손실을 최소화하기 위해 “편리하게” 움직이는 현상이 사라진다. 이론적 분석(부록 C.1)에서는 EM‑업데이트가 프로토타입의 기대값을 데이터 모드에 수렴시키는 고정점(steady‑state)임을 보이며, 공동 최적화 시 발생하는 비정상적인 고정점과 대비한다.

실험 결과는 두 가지 차원에서 의미 있다. 첫째, 프로토타입 다양성 지표(ε=0.025 기준)에서 거의 100%에 가까운 고유 프로토타입을 유지한다. 둘째, ImageNet‑1K, CIFAR‑100, STL‑10 등에서 선형 평가와 파인튜닝 성능이 기존 방법보다 평균 1.5~3.2%p 향상된다. 특히 불균형 데이터 셋에서의 견고성도 크게 개선돼, 프로토타입 붕괴가 모델의 일반화 약화와 직접 연결됨을 실증한다.

요약하면, 이 논문은 “프로토타입 붕괴 = 공동 최적화”라는 가설을 실험·이론적으로 입증하고, 가우시안 혼합 기반의 완전 분리 학습이 그 문제를 근본적으로 해결한다는 강력한 증거를 제공한다. 향후 연구는 다른 비정형 데이터(텍스트, 시계열)와의 적용, 그리고 EM‑대신 변분 오토인코더 등 더 효율적인 프로토타입 추정 방법 탐색으로 확장될 수 있다.