전이 기반 의존 구문 분석을 위한 스택 LSTM 혁신

초록

본 논문은 전이 기반 의존 구문 분석기에 스택 구조를 갖는 LSTM(스택 LSTM)을 도입하여, 버퍼, 스택, 행동 이력이라는 세 가지 핵심 요소를 연속적인 벡터 공간에 동시에 인코딩한다. 푸시·팝 연산을 상수 시간에 수행하면서도 전체 스택 내용을 요약하는 임베딩을 제공함으로써, 기존 방법보다 더 풍부한 전역 정보를 활용한다. 학습은 표준 역전파로 진행되며, 영어·중국어 벤치마크에서 최첨단 성능을 달성한다.

상세 분석

이 연구의 핵심 기여는 기존 순차 LSTM에 “스택 포인터”를 추가한 스택 LSTM 구조이다. 일반 LSTM은 입력을 왼쪽‑→‑오른쪽 순서대로 처리하지만, 스택 LSTM은 현재 스택 포인터가 가리키는 셀을 이전 상태(cₜ₋₁, hₜ₋₁)로 사용한다. 푸시 연산은 새로운 입력을 리스트 끝에 추가하고, 팝 연산은 포인터만 이전 위치로 이동시켜 기존 셀을 그대로 보존한다. 이렇게 하면 스택 전체를 덮어쓰지 않으면서도, 포인터가 가리키는 h_TOP을 통해 현재 스택 구성의 연속적 요약을 즉시 얻을 수 있다.

전이 기반 파서는 전통적으로 버퍼 B, 스택 S, 그리고 행동 이력 A라는 세 개의 자료구조를 사용한다. 본 논문은 각각을 스택 LSTM으로 감싸서 bₜ, sₜ, aₜ라는 임베딩을 얻고, 이를 선형 변환 후 ReLU 활성화로 결합해 파서 상태 pₜ = ReLU(W·