신뢰할 수 있는 번역을 위한 대형 언어모델 확장과 오류 검출

초록

본 논문은 지시‑튜닝된 대형 언어모델(LLM)을 활용해 기계번역(MT)에서 의미‑중요 오류를 자동으로 탐지하는 방법을 제시한다. 모델 규모와 적응 방식(제로‑샷, few‑shot, 파인‑튜닝)을 다양하게 실험한 결과, LLM이 인코더‑전용 모델을 일관적으로 능가함을 확인하였다. 또한 오류 검출을 사회적 안전망으로 바라보며, 고위험 번역 상황에서 인간‑AI 협업을 통한 신뢰성 향상의 필요성을 논의한다.

상세 분석

이 연구는 기존 품질 추정(QE) 지표가 의미‑중요 왜곡을 포착하지 못한다는 한계를 지적하고, ‘Critical Error Detection( CED)’이라는 새로운 이진 분류 과제를 정의한다. CED는 소스 문장과 번역문을 입력받아, 번역이 의미‑전환, 사실 왜곡, 편향 삽입 등 중대한 오류를 포함하는지 여부를 ‘ERR’ 혹은 ‘NOT’으로 판단한다. 이를 위해 세 가지 영어‑독일어 데이터셋(WMT‑21, WMT‑22, SynCED‑EnDe 2025)을 활용했으며, 각 데이터는 오류 라벨이 명확히 부여된 대규모 학습·평가용 코퍼스를 제공한다.

모델군은 크게 인코더‑전용 베이스라인(BERT‑base, ModernBERT‑large, mmBERT, XLM‑R)과 디코더‑기반 LLM( GPT‑4o‑mini, GPT‑4o, LLaMA‑3.1‑8B‑Instruct, LLaMA‑3.3‑70B‑Instruct, GPT‑OSS‑20B/120B)으로 나뉜다. 각 LLM에 대해 네 가지 적응 레짐을 적용했는데, (1) 제로‑샷: 간단한 지시문만 제공, (2) few‑shot: 5~8개의 라벨링된 예시 추가, (3) 프롬프트 튜닝(P2‑P4): 모델‑특화 템플릿으로 지시문을 세밀화, (4) 파인‑튜닝: LoRA 기반 파라미터 효율 적응을 170k 번역쌍에 수행한다.

성능 평가는 클래스 불균형에 강건한 Matthews Correlation Coefficient(MCC)와 ERR/NOT 각각의 F1 점수를 사용했다. 인코더‑전용 모델은 WMT‑22와 SynCED에서 MCC 0.86~0.88 수준을 기록했으며, 특히 대규모 mmBERT와 XLM‑R이 높은 정확도를 보였다. 그러나 의미‑미묘한 오류가 많이 포함된 WMT‑21에서는 전반적으로 낮은 점수를 기록, 인코더만으로는 한계가 있음을 확인했다.

디코더‑LLM은 제로‑샷에서도 GPT‑4o와 LLaMA‑3.3‑70B가 비교적 높은 MCC(0.33~0.62)를 보였고, few‑shot으로 전환하면 ERR 클래스의 재현율이 크게 상승했다. 특히 작은 규모 LLaMA‑3.1‑8B는 P1에서 MCC가 0.26→0.20 정도로 소폭 상승했지만, 여전히 대형 모델에 비해 성능 격차가 존재한다. 프롬프트 튜닝은 GPT‑4o‑mini와 LLaMA‑3.1‑8B에 큰 이득을 주어 MCC를 0.30대에서 0.40대로 끌어올렸다. 반면, 이미 강력한 내부 정렬을 가진 GPT‑4o와 LLaMA‑3.3‑70B는 과도한 튜닝이 오히려 성능을 약간 저하시켰다.

커밋티 투표(3개 모델, 온도 0.2) 적용 시 대부분의 경우 변동성을 감소시키고, 특히 오류가 희귀한 ERR 클래스에서 안정적인 예측을 얻었다. 파인‑튜닝 결과는 GPT‑4o‑mini, LLaMA‑3.1‑8B, GPT‑OSS‑20B에 대해 제로‑샷 지시와 동일한 입력을 사용했음에도 불구하고 MCC가 0.45~0.70까지 상승, 파라미터 업데이트가 의미‑중요 오류 탐지에 실질적인 효과가 있음을 증명한다.

사회적·윤리적 논의에서는 오류 검출을 ‘안전망’으로 제시하며, 자동화 편향과 오탐 위험을 최소화하기 위해 인간‑AI 협업 루프와 점수 기반 임계값 설정을 권고한다. 특히 저자원 언어·고위험 도메인(보건, 법률, 금융)에서 오류 검출이 정보 왜곡 방지와 공정성 확보에 핵심 역할을 할 수 있음을 강조한다. 한계점으로는 영어‑독일어에 국한된 실험, 오류 라벨링의 주관성, 대형 모델 접근성(비용·자원) 등을 들며, 다언어·다도메인 확장과 라벨링 품질 향상이 필요하다고 제언한다.