동적 캔버스로 문장 생성하기

초록

AUTR은 RNN과 동적 어텐션 기반 캔버스 메모리를 결합한 단어 수준 생성 모델로, 잠재 변수 z를 이용해 문장을 단계별로 “그리듯” 구성한다. 캔버스의 중간 상태와 어텐션 흐름을 시각화함으로써 문장 생성 과정을 해석할 수 있으며, 로그우도 하한과 퍼플렉시티 측면에서 기존 Gen‑RNN보다 우수하고, 결손 단어 복원 및 의미적 잠재 표현 학습에서도 강점을 보인다.

상세 분석

본 논문은 자연어 생성 모델에 이미지 생성에서 영감을 받은 캔버스 메모리 개념을 도입한 점이 가장 큰 혁신이다. AUTR은 L개의 슬롯으로 구성된 2차원 캔버스 C∈ℝ^{L×E}를 유지하면서, 매 타임스텝 t에 RNN(LSTM) 은 현재 잠재 벡터 z, 이전 은닉 상태 h_{t‑1}, 그리고 이전 캔버스 C_{t‑1}을 입력으로 받아 새로운 은닉 상태 h_t를 계산한다. 이후 어텐션 게이트 g_t∈