텍스트 분류를 위한 용어 빈도 기반 t‑검정 특징 선택 기법

초록

**
본 논문은 기존의 문서 빈도(Doc‑Frequency) 중심 특징 선택 방법이 저빈도 용어에 취약하고 용어 빈도를 무시한다는 한계를 극복하고자, 각 카테고리별 평균 용어 빈도와 전체 코퍼스 평균 빈도의 차이를 t‑검정으로 정량화하는 새로운 특징 선택 기법을 제안한다. 중앙극한정리를 이용해 평균 빈도가 정규분포를 따른다고 가정하고, t‑값을 이용해 차이가 큰 용어를 특징으로 선정한다. Reuters‑21578와 20 Newsgroup 데이터셋에 대해 k‑NN, SVM, Centroid 분류기를 사용한 실험 결과, 제안 방법은 χ², IG, MI, ECE와 비교했을 때 macro‑F₁와 micro‑F₁ 점수에서 동등하거나 약간 우수함을 확인하였다, 특히 불균형 데이터에서 두드러진 성능 향상을 보였다.

**

상세 분석

**
이 논문은 텍스트 분류에서 특징 선택이 차원의 저주와 학습 비용을 크게 좌우한다는 점에 착안한다. 기존 방법들은 주로 문서 빈도(Doc‑Frequency)를 기반으로 하여, 용어가 문서에 등장했는지만을 고려하고 실제 텍스트 내에서의 등장 횟수인 용어 빈도(Term Frequency)를 무시한다. 저빈도 용어에 대한 통계적 신뢰도가 낮고, 고빈도 용어가 특정 카테고리에서 강력한 구분력을 가질 수 있다는 점을 간과한다는 비판이 있다.

제안된 t‑검정 기반 방법은 다음과 같은 핵심 아이디어를 담는다. 먼저, 각 용어 tᵢ에 대해 전체 코퍼스와 각 카테고리 Cₖ에서의 평균 빈도(tfᵢ와 tfₖᵢ)를 계산한다. 다항 분포 가정 하에, 문서 수가 충분히 크면 평균 빈도는 중앙극한정리(Lindeberg‑Levy CLT)에 의해 정규분포에 근사한다. 이를 이용해 두 평균 사이의 차이를 표준오차로 나눈 t‑값을 구하고, t‑값이 클수록 해당 용어가 카테고리 Cₖ에서 전체와 현저히 다른 분포를 가진다고 판단한다.

특징 점수는 두 가지 방식으로 집계한다. (1) 모든 카테고리의 t‑값을 합산한 t‑test_avg(tᵢ)와 (2) 최대 t‑값을 선택한 t‑test_max(tᵢ)이다. 실험에서는 평균 합산 방식이 다중 클래스 문제에서 일관적으로 더 좋은 성능을 보였다.

실험 설계는 두 개의 대표적인 텍스트 코퍼스(Reuters‑21578, 20 Newsgroup)를 사용하고, k‑NN(k=10), 선형 SVM, Centroid Classifier라는 세 가지 분류기에 대해 다양한 차원(200017000)에서 특징을 선택한다. 평가 지표는 macro‑F₁와 micro‑F₁이며, 특히 불균형 데이터인 Reuters‑21578에서 t‑검정 방식이 800013000 차원 구간에서 χ²·ECE보다 높은 macro‑F₁를 기록하고, micro‑F₁에서도 4.2%p 정도의 개선을 보였다. 반면, 균형 잡힌 20 Newsgroup에서는 χ²와 IG가 약간 앞섰지만, 전체적으로는 MI보다 현저히 우수했다.

또한, 사례 분석에서는 “acquir”, “stake”와 같은 실제 카테고리와 연관된 용어가 t‑검정에서는 높은 점수를 받았으나, χ²·ECE는 빈도만을 고려해 “dividend”와 같은 무관한 용어를 잘못 선택하는 문제를 지적한다.

한계점으로는 평균 빈도가 정규분포에 근사한다는 가정이 문서 수가 적은 소규모 카테고리에서는 약해질 수 있으며, 다중 라벨 문서나 매우 긴 텍스트에 대한 적용 가능성은 추가 검증이 필요하다. 또한, t‑값의 임계값 θ 설정이 데이터마다 달라질 수 있어 자동화된 파라미터 튜닝이 요구된다.

종합적으로, 이 논문은 텍스트 특징 선택에 용어 빈도 정보를 효과적으로 활용하는 새로운 통계적 프레임워크를 제시함으로써, 기존 DF 기반 방법들의 약점을 보완하고, 특히 불균형 데이터 환경에서 실용적인 성능 향상을 입증하였다.

**