기계번역 검증을 위한 참조 투명 입력 활용

초록

본 논문은 “참조 투명 입력(RTI)”이라는 개념을 도입해 기계번역 시스템을 자동으로 검증한다. 구문 분석기로 명사구를 추출하고, 동일 구문을 서로 다른 문맥에 삽입한 쌍을 번역시켜 번역 결과의 일관성을 비교함으로써 오류를 탐지한다. 구현 도구 Purity를 이용해 Google Translate와 Bing Translator를 평가했으며, 200개의 무라벨 문장에서 각각 79 %·78 % 수준의 높은 정밀도로 오류를 발견하였다.

상세 분석

이 논문은 기존 기계번역 테스트가 직면한 두 가지 근본적인 한계를 정확히 짚어낸다. 첫째, 대부분의 병렬 코퍼스는 모델 학습에 이미 사용되었기 때문에 테스트 오라클이 부족하고, 둘째, 신경망 기반 번역기의 내부 로직이 파라미터와 구조에 내재돼 코드 기반 테스트 기법을 직접 적용하기 어렵다. 이러한 문제를 해결하기 위해 저자들은 함수형 프로그래밍에서 차용한 ‘참조 투명성(referential transparency)’ 개념을 메타모픽 테스트와 결합, “참조 투명 입력(RTI)”이라는 새로운 메타모픽 관계를 정의한다. RTI는 “다양한 문맥에서도 동일한 의미를 유지해야 하는 텍스트 조각”으로, 구체적으로는 명사구(NP)를 선택한다.

Purity 시스템은 다음 네 단계로 구성된다. (1) RTI 식별: 입력 문장을 constituency parser에 통과시켜 모든 NP를 추출하고, 길이·불용어·단어 수 제한을 두어 의미가 명확한 구문만 남긴다. (2) RTI 쌍 생성: 각 RTI를 포함하는 전체 문장 혹은 상위 NP와 짝지어 두 개의 서로 다른 컨텍스트(C₁, C₂)를 만든다. (3) 번역 수집: 두 컨텍스트를 대상 번역 엔진에 전달해 번역 결과 T(C₁(r)), T(C₂(r))를 얻는다. (4) 오류 탐지: 번역된 RTI 부분을 bag‑of‑words(BOW)로 표현하고, 두 BOW 사이의 차집합 크기를 거리(dist)로 정의한다. 사전에 설정한 임계값 d를 초과하면 해당 쌍을 “의심스러운 이슈”로 보고한다.

핵심 기술적 기여는 두 가지이다. 첫째, RTI라는 메타모픽 관계를 통해 “동일 의미 단위는 문맥에 관계없이 일관된 번역을 제공해야 한다”는 강력한 테스트 오라클을 제공한다. 이는 기존 방법이 “단어 교체 후 작은 변화만 기대”하는 것과 달리, 문맥 자체를 다양화함으로써 더 넓은 오류 공간을 탐색한다. 둘째, 구현에서는 BOW 기반 거리 측정과 간단한 임계값 튜닝만으로도 높은 정밀도를 달성했으며, 복잡한 의미론적 유사도 모델을 사용하지 않아도 된다.

실험에서는 CNN 기사에서 추출한 200개의 무라벨 영문 문장을 사용했다. Google Translate와 Bing Translator에 각각 적용한 결과, Purity는 Google에서 154개의 의심스러운 쌍 중 123개(정밀도 79.3 %), Bing에서는 177개의 쌍 중 142개(정밀도 78.3 %)를 실제 오류로 확인했다. 오류 유형은 under‑translation, over‑translation, 단어·구문 오번역, 부적절한 형태 변형, 논리적 모호성 등 다양했다. 특히 기존 메타모픽 테스트