계층형 텍스트 분류를 위한 경로 신뢰도 평가와 선택적 거부 기법

초록

본 논문은 계층형 텍스트 분류(HTC)에서 Local Classifier per Node(LCN) 방식을 활용하면서, 각 레벨의 중요도를 반영한 가중치를 적용해 선택된 분류 경로의 신뢰도를 정량화한다. 신뢰도 점수가 낮은 샘플을 거부하는 전략을 도입해 전체 정확도를 향상시켰으며, Reuters RCV1‑v2 데이터셋 실험을 통해 기존 최첨단 방법들보다 우수한 성능을 입증하였다.

상세 분석

본 연구는 계층형 텍스트 분류(HTC) 분야에서 아직 해결되지 않은 “계층 구조 정보를 어떻게 효과적으로 활용할 것인가”라는 문제에 초점을 맞춘다. 기존 LCN(Local Classifier per Node) 접근법은 각 노드마다 독립적인 이진 분류기를 학습시켜 트리 구조를 그대로 반영하지만, 최종 라벨을 결정할 때는 단순히 최상위부터 하위로 진행되는 top‑down 방식에 의존한다. 이 방식은 하위 레벨에서 발생하는 오류가 상위 레벨에 전파되는 누적 오류 문제를 야기한다. 논문은 이를 보완하기 위해 두 가지 핵심 아이디어를 제시한다. 첫째, 각 레벨마다 가중치(weight factor)를 부여해 해당 레벨의 예측 신뢰도가 전체 경로 신뢰도에 미치는 영향을 조절한다. 가중치는 학습 단계에서 교차 검증을 통해 최적화되며, 일반적으로 상위 레벨이 하위 레벨보다 더 큰 가중치를 갖는다(상위 레벨이 전체 분류 구조를 크게 좌우하기 때문). 둘째, 경로 전체에 대한 신뢰도 점수를 계산한 뒤, 사전에 정의된 임계값(threshold) 이하인 경우 해당 샘플을 “거부”하고 라벨을 부여하지 않는다. 이 거부 전략은 정확도가 높은 샘플만을 남겨 전체 정확도를 상승시키는 효과를 가진다.

구현 측면에서, 각 노드의 이진 분류기는 SVM, 로지스틱 회귀 등 기존의 선형 모델을 사용했으며, 확률 출력(probability score)을 통해 개별 노드의 신뢰도를 산출한다. 이후, 노드별 신뢰도에 레벨 가중치를 곱해 누적합을 구함으로써 경로 전체 신뢰도를 정의한다. 임계값은 검증 데이터에서 ROC 곡선을 기반으로 최적화되며, 거부 비율은 전체 샘플의 5~10% 수준으로 제한한다.

실험은 Reuters RCV1‑v2 데이터셋(다중 레이블, 103개의 카테고리)에서 수행되었으며, 기존 LCN, Hierarchical SVM, HDAG(계층적 디렉터리 어그리게이션) 등과 비교하였다. 결과는 제안 방법이 평균 정확도에서 1.5~2.3%p 향상을 보였으며, 특히 상위 레벨에서의 오류 감소가 두드러졌다. 또한, 거부된 샘플들의 평균 신뢰도 점수가 낮음이 확인되어, 제안된 신뢰도 평가가 실제로 불확실한 예측을 효과적으로 걸러냄을 증명한다.

이 논문의 주요 공헌은 (1) 계층 구조의 레벨별 중요도를 정량화한 가중치 모델, (2) 경로 전체 신뢰도를 기반으로 한 동적 거부 메커니즘, (3) 실험을 통한 실용성 검증이다. 특히, 거부 전략은 “정확도 우선”이 요구되는 비즈니스 환경(예: 뉴스 자동 분류, 스팸 필터링)에서 실시간 시스템에 쉽게 적용 가능하다는 점에서 큰 의미를 가진다. 향후 연구에서는 가중치를 학습 가능한 파라미터로 전환하고, 딥러닝 기반 텍스트 인코더와 결합해 더 복잡한 계층 구조에도 확장할 여지가 있다.