비용 민감형 앙상블 가중 극단 학습기 기반 텍스트 분류

초록

본 논문은 샘플의 정보 엔트로피를 이용해 문서 중요도를 측정하고, 이를 비용 민감형 가중치를 부여한 Extreme Learning Machine(E​LM)에 적용한다. 가중 E​LM을 AdaBoost.M1 프레임워크에 결합해 AE1‑WELM을 구성하고, 고차원·희소한 VSM 대신 Skip‑gram 기반 워드 벡터를 사용해 차원을 축소한다. 20Newsgroups, Reuters‑21578, WebKB 데이터셋에서 실험한 결과, 균형·불균형 모두에서 기존 E​LM 변형보다 높은 정확도와 안정성을 보였다.

상세 분석

AE1‑WELM은 기존 가중 E​LM(Weighted E​LM)이 클래스 간 불균형만을 고려하고 동일 클래스 내 샘플 간 차이를 무시한다는 한계를 극복하기 위해 두 단계의 가중 부여 메커니즘을 도입한다. 첫 번째 단계에서는 샘플 정보 엔트로피(Shannon entropy)를 이용해 각 문서의 중요도를 정량화한다. 여기서 ‘inter‑class entropy’와 ‘inner‑class entropy’를 각각 정의하고, 이를 결합해 ‘category entropy’를 산출함으로써 문서가 전체 코퍼스와 자신이 속한 클래스 내에서 얼마나 구별력을 갖는지를 평가한다. 두 번째 단계에서는 이 중요도 값을 비용 민감 행렬(cost‑sensitive matrix)과 비용 팩터(cost‑sensitive factor)로 변환하여 가중 E​LM의 학습 과정에 삽입한다. 이렇게 하면 동일 클래스 내에서도 고빈도·저빈도, 쉬운·어려운 샘플에 차등 가중이 부여되어 모델이 보다 정교한 경계 학습이 가능해진다.

AdaBoost.M1과의 결합은 또 다른 핵심 기여이다. AdaBoost는 약한 학습기(weak learner)를 반복적으로 재학습시켜 오류를 최소화하는데, 여기서 약한 학습기로 AE1‑WELM을 사용함으로써 각 부스팅 라운드마다 비용 민감 가중치가 동적으로 업데이트된다. 이는 전통적인 Ada‑WELM이 클래스 간 가중치만 조정하던 것과 달리, 샘플 수준에서의 세밀한 조정을 가능하게 하여 불균형 데이터셋에서의 과소‑과대 예측을 크게 완화한다.

텍스트 표현 측면에서는 전통적인 VSM(TF‑IDF, LSI 등)의 고차원·희소성 문제를 인식하고, 사전 학습된 Skip‑gram 워드 임베딩을 이용해 문서 벡터를 저차원 실수 공간으로 매핑한다. 단어 수준의 의미 정보를 보존하면서 차원을 수백 차원 수준으로 압축함으로써 E​LM의 입력 행렬 연산 비용을 크게 낮춘다. 또한, 워드 임베딩은 동의어·다의어 처리에 유리해 전통적인 백터화 방식보다 일반화 성능이 향상될 가능성을 제공한다.

실험 설계는 20Newsgroups(다중 클래스, 비교적 균형), Reuters‑21578(다중 클래스, 심한 불균형), WebKB(소규모, 잡음 다수) 세 가지 공개 데이터셋을 사용하였다. 비교 대상으로는 기본 E​LM, 가중 E​LM, Ada‑WELM, Bagging‑ELM, 그리고 전통적인 SVM·Naïve Bayes·k‑NN 등을 포함한다. 평가 지표는 정확도(accuracy)뿐 아니라 F1‑score, G‑mean 등 불균형에 민감한 지표도 제시한다. 결과는 AE1‑WELM이 대부분의 경우 정확도와 F1‑score에서 최고 성능을 보이며, 특히 불균형 데이터셋에서 G‑mean이 크게 개선되어 클래스 간 균형 잡힌 예측 능력을 입증한다. 또한, 부스팅 라운드 수가 증가함에 따라 학습 안정성이 향상되는 모습을 보여, 기존 E​LM이 랜덤 초기 가중치에 민감했던 단점을 보완한다.

한계점으로는 비용 민감 행렬을 구성하기 위한 엔트로피 계산이 데이터 규모가 커질수록 계산 비용을 증가시킨다는 점이다. 또한, 워드 임베딩을 사전 학습된 모델에 의존하기 때문에 도메인 특화 어휘가 많은 경우 성능 저하 가능성이 있다. 재현성을 위해서는 하이퍼파라미터(부스팅 라운드 수, 은닉 노드 수, 비용 팩터 스케일 등)의 상세 설정이 논문에 충분히 기술되지 않아, 동일 실험 재현에 약간의 난이도가 존재한다.

종합적으로 AE1‑WELM은 비용 민감 가중치와 AdaBoost 기반 앙상블을 결합함으로써 E​LM의 빠른 학습 속도와 높은 일반화 성능을 유지하면서, 불균형 텍스트 분류 문제에 대한 실용적인 해결책을 제시한다.