대규모 계층 분류를 위한 확률적 캐스케이딩

초록

본 논문은 전통적인 플랫 분류와 기존 캐스케이딩 방식의 한계를 극복하고자, 각 루트‑리프 경로의 확률을 직접 추정하는 ‘P‑path’ 방법을 제안한다. 동일한 기본 분류기(로지스틱 회귀)를 사용하면서도 LSHTC1 데이터셋 실험에서 정확도, 매크로 F‑measure, 매크로 정밀도·재현율, 트리 유도 오류 모두에서 기존 방법들을 능가한다. 학습 복잡도는 기존 캐스케이딩과 동일하지만, 테스트 단계에서 모든 경로 확률을 계산하므로 약간의 시간 비용이 추가된다.

상세 분석

본 연구는 계층형 분류 문제를 “루트‑리프 경로 전체에 대한 확률”을 구함으로써 해결한다는 점에서 기존 방법과 근본적으로 차별화된다. 전통적인 캐스케이딩은 각 노드에서 가장 높은 확률을 가진 자식으로만 진행하므로, 상위 단계에서 한 번이라도 오류가 발생하면 최종 예측이 완전히 뒤틀린다. 반면, 제안된 P‑path는 각 노드의 이진 분류기가 산출한 조건부 확률 (P(S_i|Ancestor(S_i),d)) 를 곱해 모든 리프에 대한 사후 확률 (P(C|d)) 를 계산한다. 이때 “형제 노드와의 비교”만을 이용해 이진 학습을 수행하므로, 개별 분류기의 학습 난이도는 플랫 분류보다 낮고, 대규모 데이터셋에서도 효율적으로 학습할 수 있다.

핵심 수식은
\