주의와 번역을 동시에 배우는 신경망 기계 번역

본 논문은 신경망 기반 기계 번역(NMT)의 기존 인코더‑디코더 구조가 고정 길이 컨텍스트 벡터(c)에 모든 입력 정보를 압축해야 하는 한계점을 지적한다. 특히 문장이 길어질수록 정보 손실이 심화되어 번역 품질이 급격히 저하되는 문제가 있었다. 이를 해결하기 위해 저자들은 ‘Jointly Learning to Align and Translate’라는 새로운 아키텍처를 제안한다. 먼저, 입력 문장은 양방향 RNN(BiRNN)으로 인코딩된다. 순방향 RNN은 문장을 앞에서 뒤로 읽으며 은닉 상태 →h_j를 생성하고, 역방향 RNN은 뒤에서 앞으로 읽으며 ←h_j를 만든다. 두 은닉 상태를 연결(concatenate)하여 각 단어 j에 대한 annotation h_j를 만든다. 이 annotation은 해당 단어 주변의 전후 문맥 정보를 모두 포함하므로, 단어 수준의 풍부한 표현을 제공한다. 디코더는 기존과 같이 RNN 구조를 사용하지만, 매 타깃 단어 y_i를 생성할 때마다 별도의 컨텍스트 벡터 c_i를 계산한다. c_i는 모든 annotation h_j에 대한 가중합으로 정의된다: c_i = Σ_j α_ij h_j. 여기서 α_ij는 ‘정렬 모델(a)’에 의해 산출된 점수 e_ij = a(s_{i‑1}, h_j)를 소프트맥스 함수를 통해 확률화한 값이다. 정렬 모델은 현재 디코더 은닉 상태 s_{i‑1}와 각 annotation h_j를 입력으로 하는 작은 피드포워드 신경망이며, 학습 과정에서 전체 모델과 함께 역전파된다. 이 메커니즘은 디코더가 매 순간 번역에 가장 관련된 입력 위치에 ‘주의(attention)’를 집중하도록 만든다. 학습은 전체 병렬 코퍼스에 대한 로그우도 최대화를 목표로 하며, 미니배치 SGD와 Adadelta 최적화를 사용한다. 실험에서는 WMT 2014 영어‑프랑스어 데이터셋을 사용했으며, 데이터 전처리는 토크나이징과 30,000 빈도 상위 단어를 선택하는 단어 사전 구축으로 이루어졌다. 두 종류의 모델을 각각 30단어와 50단어 길이 제한 하에 훈련시켰다: 기존 RNN Encoder‑Decoder(RNNencdec)와 제안 모델(RNNsearch). 양쪽 모두 1000개의 은닉 유닛과 maxout 레이어를 사용했으며, 약 5일간 학습하였다. 평가 결과는 BLEU 점수 기준으로 제시된다. 모든 설정에서 RNNsearch이 RNNencdec보다 높은 BLEU를 기록했으며, 특히 긴 문장(>30단어)에서 성능 차이가 크게 나타났다. RNNsearch‑50은 알려진 어휘만 사용했을 때 BLEU 34.5점으로, 전통적인 구문 기반 시스템인 Moses(동일 데이터 조건)와 거의 동등한 수준을 달성했다. Moses는 별도의 418M 규모 모노랭귀 데이터와 복잡한 특징 엔지니어링을 활용했음에도 불구하고, RNNsearch은 순수한 엔드‑투‑엔드 신경망만으로 경쟁력을 확보했다. 또한, 논문은 어텐션 가중치 α_ij를 시각화하여 인간이 기대하는 단어‑대‑단어 정렬과 높은 일치를 보임을 확인했다. 예시로 제시된 네 개의 번역 결과와 그에 대응하는 어텐션 매트릭스는, 모델이 의미론적 일관성을 유지하면서도 적절한 입력 위치에 집중한다는 것을 입증한다. 이러한 정렬은 ‘soft alignment’라 불리며, 전통적인 하드 정렬 방식보다 학습이 용이하고, 역전파를 통한 공동 최적화가 가능하다는 장점을 가진다. 결론적으로, 이 연구는 NMT에서 어텐션 메커니즘을 최초로 도입함으로써, 고정 길이 벡터의 한계를 극복하고 번역 품질을 크게 향상시켰다. 이후의 연구들, 특히 Transformer와 같은 완전 어텐션 기반 모델들은 본 논문의 아이디어를 확장·발전시킨 결과물이라 할 수 있다. 이 논문은 NMT 분야에서 이론적·실용적 전환점을 제공하며, 어텐션이 자연어 처리 전반에 미치는 영향을 조명한다.