방글라 웹 문서 분류를 위한 지도학습 방법

초록

본 논문은 방글라어 웹 문서를 네 가지 지도학습 알고리즘(Decision Tree C4.5, K‑Nearest Neighbour, Naïve Bayes, Support Vector Machine)으로 분류하는 실험을 수행한다. 자체 구축한 방글라어 말뭉치를 이용해 각 모델의 정확도와 효율성을 비교했으며, 고차원·노이즈가 많은 특성 벡터에서도 SVM이 가장 우수한 성능을 보였음을 보고한다.

상세 분석

본 연구는 방글라어 텍스트 분류라는 비교적 미개척 분야에 네 가지 대표적인 지도학습 기법을 적용함으로써, 언어 특성에 따른 알고리즘 성능 차이를 정량적으로 파악하고자 했다. 먼저 데이터 전처리 단계에서 토큰화, 불용어 제거, 어간 추출을 수행했으며, TF‑IDF 가중치를 이용해 문서‑용어 행렬을 구축하였다. 이때 방글라어는 형태소 변형이 풍부하고 어휘가 다형성을 띠어, 어간 추출기의 정확도가 전체 분류 성능에 큰 영향을 미친다는 점을 논문은 강조한다.

각 알고리즘의 특성을 살펴보면, Decision Tree(C4.5)는 정보 이득을 기반으로 트리를 성장시켜 해석 가능성이 높지만, 차원이 늘어날수록 과적합 위험이 커진다. K‑Nearest Neighbour은 거리 기반 분류로 구현이 간단하지만, 고차원 공간에서 거리 계산 비용이 급증하고, 희소한 벡터에 민감해 성능이 불안정하다. Naïve Bayes는 조건부 독립 가정을 통해 학습 속도가 빠르고 메모리 사용량이 적지만, 실제 텍스트 데이터는 단어 간 상관관계가 존재하므로 정확도가 제한적이다. 반면 SVM은 마진을 최대화하는 초평면을 찾으며, 커널 함수를 통해 비선형 특성을 효과적으로 모델링한다. 특히 방글라어 문서가 갖는 높은 차원성과 잡음(오탈자, 중복 문장 등)에도 불구하고, 라디얼 기저 함수(RBF) 커널을 적용한 SVM은 다른 세 모델에 비해 평균 정확도가 5~7%p 상승하고, 재현율·정밀도 모두에서 우수한 균형을 보였다.

실험 결과는 교차 검증(10‑fold)과 혼동 행렬을 통해 정량화했으며, SVM이 가장 높은 F1‑score(0.87)를 기록한 반면, Decision Tree는 0.73, KNN은 0.71, Naïve Bayes는 0.68 수준이었다. 또한 학습 시간 측면에서는 Naïve Bayes가 가장 빠르고, SVM이 가장 오래 걸렸지만, 실제 서비스 환경에서는 학습은 오프라인으로 수행하고 추론 속도는 충분히 실시간 요구를 만족한다는 점을 언급한다.

이와 같이 논문은 방글라어 특유의 형태소 복잡성과 데이터 희소성을 고려한 전처리와 특징 선택이 분류 성능에 결정적임을 재차 확인한다. 또한, 고차원·노이즈가 많은 텍스트 데이터에 대해 SVM이 여전히 가장 강력한 범용 분류기임을 실증함으로써, 향후 방글라어 기반 정보 검색·스팸 필터링·콘텐츠 추천 시스템 등에 SVM 기반 파이프라인을 적용할 근거를 제공한다.