대규모 문서 군집화를 위한 K트리 알고리즘

초록

본 논문은 INEX 2008 XML Mining 트랙에서 사용된 문서 군집화 방법을 소개한다. 저자들은 K‑tree라는 트리 기반 클러스터링 알고리즘을 정보 검색 환경에 맞게 변형하여 대용량 문서 집합에 적용하였다. K‑tree는 삽입·분할 연산이 로그‑선형 복잡도를 갖기 때문에 확장성이 뛰어나며, 실험 결과 효율성과 군집 품질 모두에서 경쟁력 있는 성능을 보였다. 분류 단계에서는 선형 SVM을 이용해 문서 라벨을 예측하였다.

상세 요약

K‑tree는 전통적인 B‑tree 구조를 차용하면서 클러스터 중심을 노드에 저장하고, 새 문서를 삽입할 때 가장 가까운 중심을 따라 내려가며 적절한 리프에 배치한다. 이 과정에서 노드가 포화 상태에 이르면 K‑means‑like 재분할을 수행해 두 개의 자식 노드를 생성한다. 논문에서는 이 재분할을 2‑way로 제한함으로써 트리의 균형을 유지하고, 삽입 비용을 O(log n) 수준으로 억제한다. 또한, 문서 벡터는 TF‑IDF 가중치를 적용한 고차원 희소 벡터로 표현했으며, 코사인 유사도를 거리 측정으로 사용했다. 이러한 설계는 대규모 코퍼스(수십만 문서)에서도 메모리 사용량을 제한하면서 빠른 군집화를 가능하게 한다.

실험에서는 INEX 2008 XML Mining 데이터셋을 활용해 K‑tree와 기존의 K‑means, LDA 기반 군집화 방법을 비교하였다. 평가 지표로는 정밀도·재현율·F‑measure를 포함한 클러스터링 품질 지표와 실행 시간·메모리 사용량을 사용했다. 결과는 K‑tree가 특히 실행 시간 면에서 10배 이상 가속화되는 동시에, 군집 품질에서는 기존 방법과 비슷하거나 약간 우수한 점수를 기록했다. 이는 트리 구조가 데이터 삽입 시점에 즉시 군집을 형성하고, 전체 데이터를 한 번에 메모리로 로드하지 않아도 된다는 점에서 큰 장점으로 작용한다.

분류 단계에서는 K‑tree로 생성된 군집 라벨을 특징으로 삼아 선형 SVM을 학습시켰다. SVM은 높은 차원의 희소 특성을 효과적으로 처리할 수 있어, 군집 기반 특징과 기존의 텍스트 특징을 결합했을 때 분류 정확도가 향상되었다. 논문은 또한 파라미터 튜닝(예: 노드 용량, 재분할 기준)과 전처리 단계(스톱워드 제거, 어간 추출)의 영향도 분석했으며, 최적의 설정이 전체 파이프라인 성능에 미치는 영향을 정량적으로 제시하였다.

이와 같이 K‑tree는 대규모 문서 군집화 문제에 대해 효율성과 품질을 동시에 만족시키는 실용적인 솔루션으로 평가된다. 특히, 트리 구조를 활용한 온라인 삽입 방식은 스트리밍 데이터나 지속적인 코퍼스 업데이트가 필요한 실제 IR 시스템에 적용 가능성을 높인다.