하이퍼볼릭 K평균을 활용한 일반화 카테고리 발견

초록

본 논문은 기존 GCD 연구에서 하이퍼볼릭 표현 학습은 사용했지만 클러스터링 단계는 유클리드 공간에 의존하던 한계를 지적한다. 저자는 로렌츠 하이퍼볼리드 모델에서 직접 임베딩을 학습하고, 동일 공간에서 하이퍼볼릭 K‑Means 알고리즘을 적용한 HC‑GCD를 제안한다. Semantic Shift Benchmark에서 실험한 결과, 하이퍼볼릭 K‑Means가 유클리드 K‑Means보다 일관된 군집을 형성하고, 특히 미지 클래스에 대한 정확도가 향상됨을 보인다. 또한 임베딩 노름 클리핑이 보이는 효과와 라벨 세분화에 따른 군집 일관성도 분석한다.

상세 분석

이 연구는 Generalized Category Discovery(GCD)라는 열린 세계 분류 문제에 하이퍼볼릭 기하학을 보다 깊이 통합하려는 시도이다. 기존의 Hyperbolic GCD 방법들은 하이퍼볼릭 공간에서 특징을 학습한 뒤, 최종 클러스터링 단계에서 유클리드 K‑Means를 사용해 손실을 초래한다는 점을 비판한다. 저자는 두 가지 핵심 기여를 제시한다. 첫째, 로렌츠 하이퍼볼리드 모델에 기반한 하이퍼볼릭 K‑Means 알고리즘을 설계하였다. 여기서는 거리 함수로 하이퍼볼릭 거리 (d_H)를, 중심점으로는 로렌츠 중심(Lorentz Centroid)을 사용한다. 논문은 로렌츠 중심과 코헨 모델의 아인슈타인 중점(Einstein Midpoint)이 동일함을 수학적으로 증명함으로써, 모델 간 변환 없이도 중심을 계산할 수 있음을 보인다. 둘째, 이러한 클러스터링을 GCD 파이프라인에 적용한 HC‑GCD를 구현하였다. 백본은 ViT‑B/14에 DINOv2 사전학습 가중치를 사용하고, 프로젝션 헤드 뒤에 노름 클리핑(2.3)과 로렌츠 하이퍼볼리드로의 지수 맵을 적용한다. 학습 손실은 거리 기반 하이퍼볼릭 대비와 각도 기반 외부 각도(Exterior Angle)를 결합한 대비 손실을 사용하며, 라벨이 있는 샘플에 대해 감독 대비 손실을, 라벨이 없는 샘플에 대해 자기 대비 손실을 가중치 (\lambda)와 (\alpha)로 조절한다.

실험은 Semantic Shift Benchmark의 CUB, Stanford Cars, FGVC‑Aircraft 세 데이터셋을 대상으로 수행되었다. 각 데이터셋에서 절반의 클래스를 ‘seen’으로 지정하고, 라벨이 있는 데이터는 해당 클래스의 50%만 사용해 반지도 학습 환경을 만든다. 결과는 HC‑GCD가 기존 HyperCD와 동등하거나 약간 우수한 전체 정확도를 달성함을 보여준다. 특히 하이퍼볼릭 K‑Means를 사용했을 때 미지 클래스에 대한 클러스터링 정확도가 유클리드 K‑Means 대비 평균 2~3%p 상승했으며, 라벨 세분화(그라뉼러리티) 실험에서는 클러스터 경계가 더 일관적으로 유지되는 것이 확인되었다. 추가적인 Ablation에서는 Euclidean 임베딩의 노름을 클리핑하지 않을 경우, 미지 클래스 정확도는 감소하지만 seen 클래스 정확도는 상승하는 현상이 데이터셋마다 다르게 나타났으며, 이는 하이퍼볼릭 공간에서 노름이 계층 깊이와 연관된 정보를 담고 있기 때문으로 해석한다.

이 논문의 의의는 두 가지이다. 첫째, 하이퍼볼릭 공간 자체에서 비지도 군집화를 수행함으로써 계층적 구조를 보존하고, 기존 유클리드 변환에 따른 왜곡을 최소화한다는 점이다. 둘째, 로렌츠 중심과 아인슈타인 중점의 동등성을 증명함으로써, 하이퍼볼릭 K‑Means 구현에 필요한 수학적 기반을 명확히 제공한다. 한계점으로는 현재 실험이 주로 이미지 데이터와 제한된 베이스라인에 국한되어 있어, 텍스트 혹은 멀티모달 데이터에 대한 일반화 가능성은 추가 연구가 필요하다. 또한 하이퍼볼릭 K‑Means의 수렴 속도와 초기 중심 선택에 대한 민감도 분석이 부족한 점도 보완될 여지가 있다. 전반적으로 이 연구는 GCD 분야에서 하이퍼볼릭 기하학을 보다 완전하게 활용하는 방향을 제시하며, 향후 계층적 데이터와 열린 세계 학습에 대한 새로운 연구 토대를 제공한다.