문서 분류를 위한 순차적 읽기 모델

초록

본 논문은 텍스트 분류를 전체 문서를 한 번에 처리하는 전통적 방법이 아니라, 문장을 순차적으로 읽으며 필요한 순간에 분류와 정지를 결정하는 마르코프 의사결정 과정(MDP)으로 모델링한다. 강화학습을 이용해 최적 정책을 학습하고, 실험 결과 작은 학습 데이터에서는 기존 SVM 대비 우수한 성능을, 큰 데이터에서는 동등한 성능을 보이며 동시에 읽는 문장의 비율을 크게 줄인다.

상세 분석

이 연구는 텍스트 분류를 “읽기‑정지”라는 이중 행동을 갖는 순차적 의사결정 문제로 재구성함으로써, 기존 bag‑of‑words 기반 전역 모델의 한계를 극복한다는 점에서 혁신적이다. 문서 d는 문장 시퀀스(δ₁,…,δₙ)로 표현되고, 각 문장은 tf‑idf 벡터로 특징화된다. 상태 s는 (d, p, ŷ)로 정의되는데, p는 현재 읽고 있는 문장 번호, ŷ는 현재까지 할당된 라벨 집합이다. 행동 집합 A(s)에는 아직 할당되지 않은 라벨에 대한 “classify as k”, 다음 문장으로 이동하는 “next”, 그리고 판별을 종료하는 “stop”이 포함된다. 전이 함수 T는 “classify” 시 ŷ_k를 1로, “next” 시 p를 1 증가, “stop” 시 프로세스를 종료한다. 보상 r(s,a)은 “stop” 행동에 대해서만 실제 라벨 y와 예측 ŷ 사이의 F1 점수를 부여하고, 그 외 행동은 0 보상을 준다. 따라서 에이전트는 최소한의 문장을 읽고 높은 F1을 얻는 정책을 학습하게 된다.

강화학습 측면에서는 Q‑함수를 선형 근사 Qθ(s,a)=⟨θ,Φ(s,a)⟩ 로 두고, Φ는 상태‑행동 페어를 나타내는 특징 벡터이다. 학습은 Monte‑Carlo 시뮬레이션을 통해 각 상태‑행동 쌍에 대해 “좋은(good)” 행동(최소 손실을 초래)과 “나쁜(bad)” 행동을 구분하고, 이를 이진 SVM으로 분류한다. 즉, Q‑값을 직접 추정하기보다 행동의 상대적 가치를 SVM으로 학습함으로써 고차원 연속 상태 공간에서도 효율적인 정책 추정이 가능하다.

실험은 20 Newsgroups, Reuters‑21578, Ohsumed, 그리고 WebKB 등 네 개의 표준 단일 라벨 코퍼스를 사용하였다. 학습 샘플 수를 100, 500, 1000, 5000 등으로 변동시켜 작은 데이터셋에서의 성능을 강조하였다. 결과는 작은 학습 비율(≤1000)에서 기존 Linear SVM 대비 평균 35% 높은 F1을 기록했으며, 큰 학습 비율에서는 거의 동일한 성능을 유지하면서 평균 읽는 문장 비율을 3060%로 감소시켰다. 이는 비용이 높은 텍스트 획득 상황(예: 웹 크롤링, 실시간 스트림)에서 실용적 이점을 제공한다.

한계점으로는 현재 문장 수준의 특징만 사용하고 있어 문맥적 종속성을 완전히 포착하지 못한다는 점, 그리고 “stop” 시점이 고정된 보상 구조에 의존해 실제 비용(시간, 메모리)과 직접 연결되지 않을 수 있다는 점을 들 수 있다. 향후 연구에서는 문장 간 상호작용을 모델링하는 RNN 기반 특징 추출기와, 비용‑민감 보상 설계 등을 결합해 더욱 정교한 읽기‑정지 정책을 설계할 여지가 있다.