로짓을 활용한 간단한 계층 클러스터링

초록

**
본 논문은 기존 딥러닝 기반 계층 클러스터링 방법이 대규모 데이터에서 효율성과 성능 면에서 한계를 보임을 지적하고, 사전 학습된 비계층 클러스터링 모델의 로짓만을 이용해 계층 구조를 추출하는 가벼운 알고리즘 L2H를 제안한다. L2H는 별도의 파인튜닝 없이 CPU 환경에서도 이미지넷 규모 데이터를 1분 이내에 계층화할 수 있으며, 실험 결과 기존 최첨단 딥 계층 모델을 능가한다. 또한, 사전 학습된 이미지넷 분류기의 로짓을 활용해 클래스 계층을 복원함으로써 감독 학습 모델의 해석 가능성을 높인다.

**

상세 분석

**
이 논문은 두 가지 주요 흐름을 통해 기존 연구의 한계를 체계적으로 분석하고, 새로운 방법론을 제시한다. 첫 번째 흐름은 최근 발표된 딥 계층 클러스터링 모델(DeepECT, TreeVAE 등)이 실제 대규모 비전 데이터셋(CIFAR‑10/100, Food‑101)에서 겪는 스케일링 문제와 리프 레벨 성능 저하를 실험적으로 입증한다. 이들 모델은 고차원 임베딩 공간에서 클러스터 간 거리를 계산하거나 복잡한 변분 구조를 학습해야 하므로 메모리·연산 비용이 급증하고, 클러스터 수가 늘어날수록 최적화가 불안정해진다. 결과적으로, 비계층 모델이 제공하는 단일 클러스터 정확도에 비해 계층 모델은 동일하거나 낮은 성능을 보이며, 실용적인 적용이 제한된다.

두 번째 흐름은 로짓 기반 계층 추출이라는 전혀 새로운 관점을 제시한다. 사전 학습된 K‑클러스터 모델 fθ가 출력하는 로짓을 그대로 사용해, 각 클러스터의 예측 확률(softmax 후 최대값)과 재배정 확률을 계산한다. 핵심 아이디어는 “특정 클러스터 집합 G를 제거했을 때, 해당 집합에 속한 데이터가 가장 많이 재배정되는 다른 클러스터 집합 G′를 찾는다”는 것이다. 이를 위해 논문은 마스크드 소프트맥스(m‑softmax)를 정의하고, 그룹 스코어 s(G)=∑{x∈DG} gθ(x)와 재배정 확률 r_p(c)=∑{x∈DG*} g_mθ(x;G*)·1