시퀀스 라벨링을 위한 트리 탐색 알고리즘

초록

MM‑Tag은 단어 위치를 시간 단계로 보는 마코프 결정 과정(MDP)에 Monte Carlo 트리 탐색(MCTS)을 결합한 강화학습 기반 시퀀스 태깅 모델이다. 두 개의 LSTM이 과거 단어와 태그를 요약해 정책 π와 가치 V를 예측하고, MCTS가 이를 보강해 탐색 정책을 생성한다. 손실은 전체 문장 정확도에 대한 평균제곱오차와 정책‑검색 확률 간 교차엔트로피를 합한 형태이며, CoNLL 2000 청크 데이터에서 CRF·BiLSTM‑CRF 등 기존 최첨단 모델을 능가한다.

상세 분석

본 논문은 시퀀스 라벨링을 순차적 의사결정 문제로 재정의하고, 이를 강화학습 프레임워크에 매핑한다. 입력 문장은 길이 M의 토큰 시퀀스 X={x₁,…,x_M}이며, 각 단계 t에서 상태 s_t는 현재까지 관찰된 단어 프리픽스 X_t와 이미 할당된 태그 프리픽스 Y_{t‑1}의 쌍으로 정의된다. 행동 a_t는 현재 단어 x_t에 부여할 태그 y_t∈𝒴이며, 전이 함수는 단순히 다음 단어와 선택된 태그를 상태에 추가하는 방식으로 구현된다.

가치 함수 V(s)와 정책 함수 p(a|s)는 각각 두 개의 LSTM 네트워크에 의해 파라미터화된다. LSTM_X는 X_t를, LSTM_Y는 Y_{t‑1}을 순차적으로 인코딩해 고정 길이 은닉 벡터 h_X, h_Y를 생성하고, 이를 concat 후 선형 변환·시그모이드 함수를 거쳐 V(s)∈