극단 다중라벨 학습을 위한 지역 비선형 임베딩 X‑One

초록

X‑One은 라벨 행렬의 저‑랭크 가정을 깨고, 가장 가까운 라벨 간 거리만 보존하는 지역 비선형 임베딩을 학습한다. 클러스터별로 임베딩을 만들고, 각 클러스터 안에서 k‑NN 분류를 수행함으로써 꼬리 라벨을 정확히 예측하고, 기존 임베딩·트리 기반 방법보다 35%·6% 정도 높은 정확도를 달성한다. 또한 클러스터링과 효율적인 최적화(SVP, ADMM) 덕분에 백만 라벨 규모 데이터에도 확장 가능하다.

상세 분석

본 논문은 극단 다중라벨 학습(Extreme Multi‑Label Learning, XML)에서 가장 큰 난관인 “라벨 행렬의 저‑랭크 가정 위반”을 근본적으로 해결한다. 기존 임베딩 기법은 전체 라벨 벡터 Y를 선형 저차원 서브스페이스 U에 투사하고, Vx 로 복원하는 방식을 취한다. 그러나 실세계 데이터는 수십만~수백만 개의 ‘tail’ 라벨을 포함하고, 이 라벨들은 몇 개의 샘플에만 등장해 Y의 스펙트럼이 급격히 감소하지 않는다. Figure 1(a)에서 보듯이 500 차원 SVD조차 90 %의 근사 오차를 남긴다.

X‑One은 이러한 문제를 “지역 거리 보존”이라는 새로운 관점으로 전환한다. 라벨 공간에서 i와 j가 서로 가장 가까운 k‑NN 관계에 있을 때만 거리(또는 내적)를 보존하도록 임베딩 Z를 학습한다. 수식 (1)에서 Ω는 각 라벨 i에 대해 선택된 이웃 집합 N_i 를 나타내며, ‖P_Ω(YᵀY) − P_Ω(ZᵀZ)‖_F² 를 최소화한다. 이렇게 하면 전체 라벨 행렬을 저‑랭크로 근사하려는 것이 아니라, “근접 라벨 쌍”만을 정확히 재현한다. 결과적으로 tail 라벨이 차지하는 희소한 이웃 관계도 유지되므로, k‑NN 분류 시 해당 라벨이 높은 재현율을 보인다.

학습 파이프라인은 두 단계로 나뉜다. 첫 단계에서는 SVP(Singular Value Projection) 알고리즘을 이용해 (4)식의 비선형 차원 축소 문제를 해결한다. SVP는 M_{t+1}=P_{bL}(M_t+η·P_Ω(YᵀY−M_t)) 형태의 투사 경사 하강법으로, 매 반복마다 rank‑bL PSD 행렬로 투사한다. 이때 고유값 분해를 통해 효율적인 투사가 가능하지만, n이 매우 클 경우 비용이 크게 늘어날 수 있다. 이를 완화하기 위해 논문은 클러스터링(C) 기반의 “분할‑정복” 전략을 도입한다. k‑means 로 데이터를 C개의 클러스터 Q_j 로 나눈 뒤, 각 클러스터마다 독립적으로 SVP와 임베딩 Z_j 를 구한다.

두 번째 단계에서는 학습된 임베딩 Z_j 를 입력 특징 X_j 로부터 예측하기 위해 V_j 를 학습한다. 여기서는 ADMM(Alternating Direction Method of Multipliers) 기반의 정규화된 회귀식 (5)를 풀며, L2 정규화 λ와 L1 스무딩 µ, ρ 를 조합해 희소성을 유지한다. 최종 예측은 테스트 샘플 x가 속한 클러스터 τ를 찾고, z=V_τ x 를 계산한 뒤, Z_τ 내에서 k‑NN을 수행해 이웃들의 라벨 집합을 다수결(Top‑p) 방식으로 결합한다.

시간 복잡도 측면에서 X‑One은 클러스터당 N_C(클러스터 크기)만큼만 k‑NN을 수행하므로, 전체 O(N·bL) 비용을 O(C·N_C·bL) 로 크게 감소시킨다. 또한 클러스터링 자체가 선형 시간에 수행되며, 학습 단계에서도 각 클러스터를 독립적으로 처리하므로 병렬화가 용이하다. 실험에서는 C=300, bL=50, d≈42인 WikiLSHTC 데이터에서 56 % 정확도와 8 ms 예측 시간을 기록했으며, 이는 기존 LEML(20 % 정확도, 300 ms)보다 2‑3배 이상 우수했다.

X‑One은 또한 최신 트리 기반 방법(FastXML 등)과 비교했을 때, 라벨 수가 1 M에 달하는 Ads1M 데이터에서도 49.8 %~55 % 수준의 정확도를 달성하면서 모델 크기와 이론적 해석 가능성 면에서도 장점을 가진다. 논문은 “지역 거리 보존 임베딩”이 저‑랭크 가정에 얽매이지 않으면서도, k‑NN 기반의 단순하고 직관적인 추론을 가능하게 함을 증명한다.

요약하면, X‑One은 (1) 라벨 행렬의 비선형 저차원 구조를 지역 거리 보존을 통해 포착, (2) 클러스터 기반 분산 학습으로 확장성 확보, (3) SVP와 ADMM을 결합한 효율적 최적화, (4) k‑NN 기반 추론으로 tail 라벨까지 높은 재현율을 제공한다는 네 가지 핵심 혁신을 제시한다.