일관된 지도·비지도 정렬을 통한 범주 확장 발견

초록

본 논문은 알려진 클래스와 라벨이 없는 새로운 클래스를 동시에 학습하는 일반화된 범주 발견(GCD) 문제에 대해, 사전에 고정된 ETF(Equiangular Tight Frame) 프로토타입을 이용해 특징 공간을 최적의 기하학적 구조로 정렬한다. 지도 학습과 비지도 클러스터링을 하나의 일관된 손실로 결합하고, 클러스터 라벨의 변동성을 억제하는 Semantic Consistency Matcher(SCM)를 도입해 학습 안정성을 높인다. 실험 결과, 여러 GCD 벤치마크에서 특히 새로운 클래스의 정확도가 크게 향상됨을 보인다.

상세 분석

이 연구는 GCD에서 기존 방법들이 겪는 두 가지 근본적인 문제—지도와 비지도 목표 사이의 최적화 불일치, 그리고 클래스 간 혼동—를 Neural Collapse(NC) 현상을 활용해 해결한다. NC는 학습이 충분히 진행된 분류 네트워크에서 각 클래스의 평균 특징이 Simplex ETF 구조를 이루며, 이는 클래스 간 최대 각도(즉, 최소 코사인 유사도)를 보장하고 클래스 내부는 고도로 응집되는 최적의 기하학적 배치를 의미한다. 논문은 이러한 이론적 배경을 바탕으로, 사전에 정의된 K개의 ETF 프로토타입을 고정하고 학습 과정에서 특징이 이 프로토타입에 정렬되도록 설계하였다.

핵심 기여는 세 가지이다. 첫째, 고정된 ETF 프로토타입을 사용함으로써 알려진 클래스와 미지의 클래스 모두에게 동일한 최적화 목표를 제공한다. 이는 동적으로 프로토타입을 업데이트하는 기존 방법들과 달리, 학습 초기에 이미 최적의 기하학적 구조를 제공하므로 특징 공간이 불필요하게 흔들리는 현상을 방지한다.

둘째, Consistent ETF Alignment Loss를 도입하여 지도 학습 손실(L_sETF)과 비지도 학습 손실(L_uETF)을 가중치 γ로 조절해 하나의 통합 손실(L_ETF)로 결합한다. 비지도 단계에서는 클러스터링 후 상위 α%의 고신뢰 샘플을 선택해 해당 클러스터의 ETF 프로토타입에 점-회귀(Dot‑Regression) 손실을 적용한다. 지도 단계에서는 라벨이 있는 샘플을 직접 해당 ETF 프로토타입에 정렬시킨다. 두 손실을 동시에 최소화함으로써, 알려진 클래스와 새로운 클래스 모두가 동일한 Simplex 구조에 수렴한다.

셋째, **Semantic Consistency Matcher (SCM)**는 클러스터링의 불안정성을 완화한다. 주기적인 클러스터링 과정에서 동일 샘플이 서로 다른 클러스터에 할당되는 문제를 해결하기 위해, 연속된 클러스터링 결과 사이의 최적 매칭(헝가리안 알고리즘 등)을 수행한다. 이를 통해 pseudo‑label이 시간에 따라 일관성을 유지하고, 지도 단계에서 실제 라벨과 ETF 프로토타입 사이의 매핑 오류를 최소화한다.

실험에서는 CIFAR‑100, ImageNet‑LT 등 6개의 GCD 데이터셋에서 기존 최첨단 방법들을 크게 앞섰다. 특히 새로운 클래스에 대한 정확도(Acc_N)에서 평균 4~6%p 상승을 기록했으며, 전체 정확도(Acc_All)에서도 견고한 개선을 보였다. Ablation study를 통해 고정 ETF 프로토타입만 사용해도 성능이 크게 향상되며, SCM 없이 학습하면 불안정한 pseudo‑label 때문에 성능이 급격히 저하되는 것을 확인했다.

이 논문은 GCD 문제에 NC 이론을 실용적으로 적용한 첫 사례라 할 수 있다. 고정된 ETF 프로토타입을 통한 기하학적 정렬은 클래스 간 간격을 이론적으로 최적화함으로써, 라벨이 부족한 상황에서도 강인한 특징 학습을 가능하게 한다. 또한 SCM은 클러스터링 기반 비지도 학습의 흔한 단점인 라벨 변동성을 효과적으로 제어한다. 향후 연구에서는 ETF 프로토타입의 차원(d) 선택, 동적 K 추정, 그리고 다른 도메인(예: 텍스트, 의료 영상)으로의 확장 가능성을 탐색할 여지가 있다.