텍스트 분류를 위한 얕은 단어 수준 CNN과 깊은 문자 수준 CNN 비교

본 논문은 텍스트 분류 작업에서 입력 단위와 네트워크 깊이가 모델 성능 및 효율성에 미치는 영향을 체계적으로 비교한다. 연구 배경으로는 2015년 저자들이 제안한 얕은 단어‑레벨 CNN(‘word‑CNN’)과 2016년 Conneau 등에서 발표한 매우 깊은 문자‑레벨 CNN(‘char‑CNN’)이 있다. 두 모델 모두 기존 선형 방법들을 뛰어넘는 정확도를 기록했지만, 직접적인 비교는 이루어지지 않았다. 특히, char‑CNN은 2.6 M 문서까지 확장 가능하다는 장점이 있었지만, 작은 데이터셋에서는 선형 모델보다 열등한 성능을 보였다. 반면, word‑CNN은 주로 25 K 정도의 중소 규모 데이터셋에서 실험되었으며, 대규모 데이터에 대한 성능은 미확인 상태였다. 이에 저자들은 동일한 8개 대규모 데이터셋(AG, Sogou, DBpedia, Yelp.p, Yelp.f, Yahoo, Amazon.f, Amazon.p)을 선택해 word‑CNN을 재평가하고, 기존 char‑CNN 결과와 직접 비교한다. 실험 설계는 다음과 같다. 먼저, 모든 데이터는 소문자 변환만 수행하고, 문서는 길이 제한 없이 그대로 사용한다. 어휘는 가장 빈번한 30 K 단어와 200 K 1~3‑gram을 사용해 제한했으며, 이는 전체 텍스트의 약 98%를 커버한다. word‑CNN은 두 가지 변형으로 구현된다. (1) 기본 모델(base model)에서는 각 텍스트 영역을 30 K 차원의 원‑핫 벡터로 표현하고, 500 차원의 지역 임베딩을 적용한다. region size는 3 또는 5로 설정하고, max‑pooling을 통해 문서 수준 벡터를 만든 뒤 선형 소프트맥스 분류기에 입력한다. (2) tv‑embedding 모델은 비지도 학습 단계에서 인접 영역 예측 과제를 통해 300 차원(또는 100 차원)의 임베딩을 학습하고, 이를 기본 모델에 추가 입력으로 결합한다. tv‑embedding은 bag‑of‑words와 bag‑of‑{1,2,3}‑gram 두 종류의 입력을 사용해 네 가지 변형을 만든다. 학습은 미니배치 SGD(모멘텀 0.9, 배치 100)로 30 epoch(AG는 100 epoch) 진행하고, 학습률은 24 epoch(AG는 80 epoch) 후 0.1배 감소시킨다. 드롭아웃(0.5)과 L2 정규화(0.0001)를 적용해 과적합을 방지한다. 검증 데이터(10 K)로 하이퍼파라미터를 튜닝한다. 성능 결과는 표 1(b)에 정리된다. 전체 데이터셋에서 tv‑embedding을 적용한 word‑CNN이 가장 낮은 오류율을 기록했으며, 기본 word‑CNN이 그 다음으로 우수했다. 특히, Yelp.f와 Amazon.p와 같은 대규모 데이터에서는 오류율이 각각 2.90%와 3.79%로, char‑CNN(4.28%~4.70%)보다 현저히 낮았다. 반면, char‑CNN은 작은 데이터셋(AG)에서 9.17%의 오류율을 보이며, 기존 선형 모델(7.64%)보다도 열등했다. 이는 char‑CNN이 문자 수준의 미세 패턴을 학습하는 데는 강하지만, 충분한 데이터가 없을 경우 일반화가 어려움을 시사한다. 모델 규모와 연산 효율성을 비교한 표 2에서는 char‑CNN이 파라미터 수 2.2 M~4.6 M에 비해 word‑CNN은 45 M~184 M으로 훨씬 크다. 이는 어휘 크기에 비례하는 가중치 수 때문이며, 저장 공간 요구가 크다는 단점이 있다. 그러나 연산 시간은 char‑CNN이 215 ms~700 ms에 비해 word‑CNN은 6 ms~72 ms로 10배 이상 빠르다. 세 가지 이유가 제시된다. 첫째, 희소 행렬 연산을 활용하면 입력 차원(단어 수)과 무관하게 비제로 요소만 곱셈에 사용한다. 둘째, 문자 기반은 평균 길이가 5배 이상 길어 처리량이 늘어난다. 셋째, 깊은 네트워크는 순차적 연산이 많아 병렬화 효율이 떨어진다. 또한, tv‑embedding 차원을 300→100으로 줄이면 파라미터가 절반으로 감소하면서 정확도 저하가 미미함을 확인했다. 논문의 주요 기여는 다음과 같다. (1) 동일 데이터셋에서 얕은 단어‑CNN과 깊은 문자‑CNN을 직접 비교해, 대규모 데이터에서도 단어‑CNN이 더 높은 정확도와 빠른 추론 속도를 제공함을 실증했다. (2) tv‑embedding이라는 반지도 학습 기법을 통해 얕은 구조에서도 표현력을 크게 강화할 수 있음을 보여주었다. (3) 파라미터 수와 연산 시간 사이의 트레이드오프를 정량적으로 분석해, 실무 적용 시 저장 용량이 충분하고 실시간 응답성이 중요한 경우 얕은 단어‑CNN이 더 적합함을 제시한다. 향후 연구에서는 어휘 크기와 tv‑embedding 차원을 조절해 메모리 효율성을 높이면서도 정확도를 유지하는 방법을 탐색하거나, 혼합형 모델(단어‑레벨 + 문자‑레벨) 등을 고려할 수 있다.