트리와 표현을 동시에 학습하는 극한 분류 및 밀도 추정 방법

본 논문은 “극한(Extreme) 다중 클래스 분류”와 “조건부 밀도 추정”이라는 두 가지 대규모 라벨 문제를 동시에 다루는 새로운 학습 프레임워크를 제안한다. 전통적인 트리 기반 방법들은 트리 구조를 학습하거나 라벨을 효율적으로 탐색하는 데 초점을 맞추지만, 입력 특징을 고정된 상태로 두는 경우가 많다. 이러한 고정된 특징은 트리 구조가 라벨 간 관계를 충분히 반영하지 못하게 하여 전체 성능을 제한한다는 점을 저자들은 지적한다. 이를 해결하기 위해 저자들은 (1) 트리 노드의 분할 품질을 정량화하는 목적함수 Jₙ을 정의하고, (2) 이 목적함수를 최대화하면서 동시에 입력을 저차원 표현 f_Θ(x) 로 매핑하는 신경망 파라미터 Θ를 학습하는 이중 최적화 절차를 설계한다. Jₙ은 다음과 같이 구성된다. - q(n)_i : 노드 n에 도달한 데이터 중 클래스 i의 비율 - p(n)_{j|i} : 클래스 i가 노드 n에 도달했을 때 j번째 자식으로 이동할 확률 - p(n)_j : 전체 데이터가 노드 n에서 j번째 자식으로 이동할 전역 확률 (q(n)_i 를 가중 평균) Jₙ = 2 M ∑_{i=1}^{K} q(n)_i ∑_{j=1}^{M} |p(n)_{j|i} − p(n)_j| 이 식은 각 클래스별 조건부 확률이 전역 확률과 얼마나 차이가 나는지를 L₁ 거리로 측정한다. 차이가 클수록 노드가 클래스 구분에 유리하므로 Jₙ이 커진다. 또한, 각 자식에 할당되는 데이터 비율이 균등하면 p(n)_j 가 1/M 로 균형을 이루어 Jₙ을 높이는 데 기여한다. 따라서 Jₙ을 최대화하면 (i) “균형(balanced)” – 자식 노드에 데이터가 고르게 분포, (ii) “순수(pure)” – 같은 클래스는 동일한 자식으로 몰리는 두 가지 특성을 동시에 달성한다. 이론적 분석에서는 Jₙ이 완전 균형·완전 순수한 분할을 달성할 경우 최댓값에 도달함을 증명하고, 각 노드에서 일정 수준(ε)의 Jₙ 향상이 이루어지면 전체 트리 깊이 D 가 O(log K) 이하일 때 전체 분류 오류가 원하는 수준 이하로 감소한다는 부스팅 정리를 제시한다. 즉, “약한 학습(weak learning)” 가정 하에 트리 전체가 강력한 분류기로 변환될 수 있음을 보인다. 알고리즘은 크게 두 단계로 구성된다. 1️⃣ **라벨 할당 단계 (Algorithm 2)** : 현재 트리와 통계(각 라벨이 각 노드에 도달한 횟수와 현재 자식별 확률)를 이용해, ∂Jₙ/∂p(n)_{j|i} 를 계산한다. 이 편미분은 2 M q(n)_i (1 − q(n)_i) sign(p(n)_{j|i} − p(n)_j) 로 간단히 구할 수 있다. 가장 큰 기여를 하는 (i, j) 쌍을 선택해 라벨 i를 자식 j에 할당하고, M‑ary 트리의 구조적 제약(각 노드에 할당되는 라벨 수는 1 mod (M‑1))을 만족하도록 반복한다. 2️⃣ **파라미터 업데이트 단계 (Algorithm 1)** : 배치마다 (a) 각 입력 x에 대해 현재 f_Θ 로 표현 w = f_Θ(x) 를 얻고, (b) 루트부터 깊이 D까지 각 노드 n에서 g_n(w) (soft‑max) 로 자식 확률을 예측, (c) 라벨 할당 단계에서 얻은 목표 자식 j*와 비교해 교차 엔트로피 손실을 계산, (d) g_n 의 파라미터 Θ_n 와 f_Θ 를 각각 SGD 로 업데이트한다. 이렇게 라벨 할당과 파라미터 학습을 교대로 수행함으로써 트리 구조와 입력 표현이 서로를 보강한다. 실험은 두 가지 도메인에서 수행되었다. - **극한 텍스트 분류** : Flickr 이미지 태그 데이터셋(수십만 라벨)에서 FastXML, Parabel, LOM‑Tree 등 최신 방법과 비교. 제안 방법은 정확도(Precision@1, nDCG)에서 평균 2~4% 향상을 보였으며, 학습 시간은 기존 방법 대비 30~50% 단축, 예측 시간도 비슷하게 빠르게 유지했다. - **조건부 밀도 추정(언어 모델링)** : Gutenberg 코퍼스(수백만 토큰, 어휘 수 100k 이상)를 사용해 트리 기반 로그우도 최적화를 적용. 전통적인 소프트맥스 출력층을 사용하는 NPLM 대비 퍼플렉시티가 5~7% 감소했으며, 메모리 사용량은 40% 이하로 감소했다. 특히, 트리와 단어 임베딩을 동시에 학습함으로써 어휘 규모가 커져도 학습 안정성이 유지되는 것을 확인했다. 추가적으로, 저자들은 제안 알고리즘의 구현을 C++ 로 공개하고, 보조 자료에 증명과 추가 실험을 제공한다. 전체적으로 이 연구는 (1) 트리 구조와 입력 표현을 공동 최적화하는 새로운 목표함수 설계, (2) 부스팅 이론을 통한 오류 상한 제공, (3) 실용적인 배치 기반 알고리즘 구현이라는 세 축을 통해 대규모 라벨 문제에서 기존 방법을 능가하는 성능을 입증한다. 향후 멀티모달 분류, 추천 시스템, 대규모 그래프 라벨링 등 라벨 수가 방대하고 실시간 추론이 요구되는 분야에 적용 가능성이 크다.