단어 순서를 활용한 텍스트 분류를 위한 CNN 활용법

초록

본 논문은 고차원 원-핫 벡터를 직접 입력으로 사용해 CNN을 텍스트 분류에 적용함으로써, 단어 순서 정보를 효과적으로 학습하고, 기존 bag‑of‑n‑gram 기반 방법 및 복잡한 사전 학습 워드 임베딩 대비 높은 정확도를 달성한다. seq‑CNN과 bag‑of‑word CNN(bow‑CNN)을 제안하고, 다중 병렬 컨볼루션 레이어를 결합한 확장 모델까지 실험을 통해 검증한다.

상세 분석

이 연구는 텍스트 분류에서 단어 순서의 중요성을 강조하면서, 기존 이미지‑CNN 구조를 1차원 텍스트에 그대로 적용하는 방식을 탐구한다. 핵심 아이디어는 저차원 워드 임베딩을 별도로 학습하거나 외부 코퍼스로부터 사전 학습된 벡터를 가져오는 대신, 문서 전체를 고차원(수십만 차원) 원‑핫 벡터 형태로 표현하고, 이 희소 데이터를 GPU에서 효율적으로 처리하도록 구현한 점이다. 이렇게 하면 컨볼루션 레이어가 직접 “텍스트 영역”을 임베딩하는 역할을 수행한다.

두 가지 CNN 변형이 제안된다. 첫 번째인 seq‑CNN은 이미지와 동일하게 고정된 윈도우 크기(p)를 갖는 연속적인 단어 시퀀스를 그대로 연결(concatenation)해 p·|V| 차원의 영역 벡터를 만든다. 이는 단어 순서를 완전히 보존하지만, 어휘 크기(|V|)가 크면 파라미터 수가 급증해 과적합 위험이 있다. 이를 보완하기 위해 제안된 두 번째 변형인 bow‑CNN는 동일한 윈도우 내 단어들을 bag‑of‑word 형태로 집계해 |V| 차원만 유지한다. 이렇게 하면 파라미터 규모가 크게 감소하면서도 윈도우 내부의 순서 정보는 손실되지만, 윈도우 간의 순서는 유지된다. 즉, bow‑CNN은 seq‑CNN과 전통적인 bag‑of‑n‑gram 사이의 중간 표현이라고 볼 수 있다.

또한, 문서 길이가 가변적인 점을 고려해 풀링 단계에서 동적 k‑max 풀링을 변형한 “다중 풀링 유닛”을 도입했다. 풀링 유닛 수를 고정하고 각 유닛이 문서의 서로 다른 구간을 담당하도록 함으로써, 최종 전결합 레이어가 지역별 특징을 구분해 학습할 수 있게 했다. 이는 특히 토픽 분류와 같이 문서 전체 구조가 중요한 작업에서 효과적이었다.

실험에서는 두 가지 대표 과제, 즉 대규모 토픽 분류(Reuters, 20 Newsgroups)와 감성 분석(Stanford Sentiment Treebank)에서 기존 SVM‑bag‑of‑n‑gram, 전결합 신경망, 그리고 Kim(2014)의 워드 임베딩 기반 CNN과 비교했다. 결과는 다음과 같다. (1) seq‑CNN은 감성 분석에서 가장 높은 정확도를 기록했으며, 이는 단어 순서가 감성 판단에 크게 기여함을 시사한다. (2) bow‑CNN은 토픽 분류에서 seq‑CNN보다 우수했는데, 이는 긴 n‑gram(예: 5~20) 정보를 효과적으로 포착하면서 파라미터 수를 억제했기 때문이다. (3) 두 모델을 병렬로 결합한 “parallel CNN”은 서로 보완적인 특징을 융합해 전반적인 성능을 추가로 향상시켰다.

또한, 고차원 원‑핫 입력을 직접 다루는 것이 학습 속도와 추론 효율성에서도 장점을 제공한다. 희소 행렬 연산을 GPU에 최적화함으로써, 워드 임베딩을 별도로 학습하는 경우보다 학습 시간이 크게 단축되었다. 파라미터 튜닝이 상대적으로 적어 실용적인 적용이 용이하다는 점도 강조된다.

이 논문은 “CNN 자체가 텍스트 영역 임베딩을 학습할 수 있다”는 근본적인 가정을 실증적으로 입증했으며, 특히 대규모 어휘와 긴 문서에 대해 기존 bag‑of‑n‑gram 방식이 겪는 데이터 희소성 문제를 완화한다. 또한, 워드 임베딩을 사전 학습하지 않아도 충분히 경쟁력 있는 성능을 달성할 수 있음을 보여, 순수 지도학습 환경에서 텍스트 CNN의 가능성을 재조명한다.