LIG‑CRIStAL 시스템, WMT17 자동 사후 편집 과제

초록

본 논문은 WMT 2017 자동 사후 편집(APE) 과제에 대한 LIG‑CRIStAL 팀의 접근법을 소개한다. 저자는 두 가지 신경망 기반 모델을 제안한다. 첫 번째는 MT 출력에만 의존하고 강제(attention) 정렬을 이용해 편집 작업(KEEP, DEL, INS, EOS)을 예측하는 단일 소스 모델이며, 두 번째는 SRC‑MT‑OP의 3단계 체인 구조로, 첫 번째 단계에서 SRC→MT 번역을 수행하고 그 어텐션 정보를 두 번째 단계의 MT→OP 편집에 활용한다. 실험 결과, 강제 어텐션 모델은 적은 학습 데이터(12k~23k)에서도 MT와 기존 통계적 사후 편집(SPE)보다 TER를 크게 낮추었으며, 체인 모델은 대규모 합성 데이터(500k)와 결합했을 때 약간의 추가 향상을 보였다. 그러나 독일어→영어(De‑En) 작업에서는 대부분 KEEP만 출력해 큰 개선을 이루지 못했다. 논문은 클래스 불균형, 편집 시퀀스 추출 방법, 문자 수준 모델링 등 향후 연구 방향을 제시한다.

상세 분석

본 연구는 자동 사후 편집(APE) 문제를 “편집 작업 예측”이라는 새로운 관점에서 접근한다는 점이 가장 큰 특징이다. 기존의 NMT 기반 APE는 원문과 MT 출력 모두를 입력으로 받아 새로운 번역을 생성하는 방식이었지만, 저자는 MT 출력에 대한 최소 편집 경로를 기반으로 4가지 작업(KEEP, DEL, INS(word), EOS)만을 예측하도록 설계하였다. 이때 강제(attention) 메커니즘을 도입해 디코더 단계 t가 입력 토큰 i와 정확히 일치하도록 정렬한다. 구체적으로 i는 디코더가 지금까지 생성한 KEEP·DEL 토큰 수에 1을 더한 값으로 정의되며, 이는 “현재 보고 있는 MT 토큰을 유지·삭제·삽입”이라는 직관적인 편집 흐름을 그대로 반영한다. 강제 어텐션은 소스‑타깃 정렬을 학습할 필요가 없으므로 파라미터 수가 적고, 특히 학습 데이터가 부족한 상황에서 과적합을 방지한다는 장점이 있다.

두 번째 제안인 체인 모델은 SRC→MT 단계와 MT→OP 단계를 각각 별도의 인코더‑디코더 구조로 구현한다. 첫 번째 단계는 전통적인 글로벌 어텐션을 사용해 SRC와 MT 사이의 번역 관계를 학습하고, 그 어텐션 컨텍스트 cᵢ를 두 번째 단계에 전달한다. 두 번째 단계는 앞서 설명한 강제 어텐션을 유지하면서, 추가적인 cᵢ를 컨텍스트로 활용해 “원문이 제공하는 추가 정보”를 편집 판단에 반영한다. 두 모델을 동시에 학습시켜 손실을 합산함으로써, MT 생성 과정과 편집 과정이 서로 보완하도록 설계되었다.

실험 설계는 두 언어쌍(EN‑DE, DE‑EN)과 두 데이터 규모(12k/23k 소규모, 500k~4M 대규모 합성 데이터)로 구성되었다. 저자는 외부 병렬 데이터를 최소화하고, 영어 단일 언어 코퍼스를 이용해 자체적으로 합성 SRC·MT를 생성했다. 이는 실제 산업 현장에서 대규모 병렬 코퍼스를 구하기 어려운 상황을 가정한 현실적인 설정이다. 모델 학습은 128 차원의 양방향 LSTM 인코더와 128 차원 임베딩, SGD 최적화, 교사 강제(teacher forcing) 등을 사용했으며, 서브워드 토크나이저를 배제해 편집 작업 예측에 맞는 어휘 구성을 유지했다.

성능 평가에서는 TER(편집 거리)와 BLEU를 사용했으며, 강제 어텐션 단일 모델은 12k/23k 데이터에서 MT 베이스라인(TER ≈ 24.8) 대비 23 포인트 정도 TER를 낮추었다. 체인 모델은 500k 합성 데이터를 추가했을 때 추가적인 TER 감소(≈ 0.51.0)와 BLEU 상승을 보였지만, 대규모 워드‑기반 모델(예: Junczys‑Dowmunt & Grundziewicz)에는 미치지 못했다. DE‑EN 작업에서는 모델이 거의 모든 토큰에 KEEP을 할당해 MT와 거의 동일한 결과를 내며, 이는 독일어의 복잡한 형태소와 높은 BLEU(≈ 70) 때문에 편집 여지가 적었기 때문으로 해석된다.

논문은 주요 한계로 (1) 편집 작업 클래스 불균형(KEEP 비중 ≈ 70%)으로 인한 모델의 “무변경” 편향, (2) 인위적인 최단 편집 경로가 실제 인간 편집 과정을 충분히 반영하지 못함, (3) 문자 수준 편집이 제공할 수 있는 세밀함을 활용하지 못함을 지적한다. 향후 연구 방향으로는 가중치 조정·멀티태스크 학습을 통한 클래스 균형 개선, 인간 포스트‑에디터의 키스트로크·마우스 로그를 활용한 실제 편집 시퀀스 수집, 그리고 문자‑레벨 모델링을 통한 더 정교한 편집 예측을 제시한다.