LLM 번역 능력의 이중성: 로컬·글로벌 학습 메커니즘

초록

본 논문은 대형 언어 모델(LLM)이 번역 작업에서 보여주는 놀라운 성능의 근원을 ‘로컬 학습’과 ‘글로벌 학습’이라는 두 종류의 사전학습 데이터에 기반한 이중성 가설로 설명한다. 로컬 학습은 동일 컨텍스트 창 내에 존재하는 병렬 문장을 활용하고, 글로벌 학습은 인터넷 전역에 흩어져 있는 의미적으로 유사한 단일언어 텍스트를 연관시켜 번역 능력을 형성한다. 논문은 이 가설을 검증하기 위한 실험 설계와, 번역 연구 및 인간‑기계 번역 개념 재구성에 미치는 함의를 논의한다.

상세 분석

본 논문은 LLM이 번역 능력을 획득하는 메커니즘을 ‘Local learning’과 ‘Global learning’이라는 두 축으로 구분한다. Local learning은 사전학습 시 동일 토큰 윈도우(예: 4–100K 토큰) 안에 영어 문장과 그 번역문이 연속적으로 등장하는 경우를 말한다. 이러한 병렬 신호는 전통적인 NMT와 유사하게 직접적인 언어 간 매핑을 제공한다. 반면 Global learning은 서로 다른 위치에 존재하는 단일언어 문서들 간의 의미적 유사성을 메타-학습적으로 추출한다. 예를 들어, 위키피디아의 영어와 한국어 항목은 내용이 유사하지만 직접적인 문장 대조는 없으며, LLM은 대규모 컨텍스트와 어텐션 메커니즘을 통해 이러한 ‘잠재적 병렬성’을 내재화한다.

논문은 두 학습 방식이 배치 학습 과정에서 자연스럽게 교차하며, 모델 규모가 커질수록 Global learning의 효과가 증폭된다고 주장한다. 이는 (i) 파라미터 수가 트릴리언 단위에 달하면서 고차원 의미 공간이 형성되고, (ii) 사전학습 데이터의 다국어 비중(3–10%)이 충분히 크기 때문이다. 또한, Instruction tuning은 번역 성능에 제한적인 영향을 미치며, 주된 원동력은 사전학습 데이터 자체에 내재된 ‘incidental bilingualism’이다.

실증적 검증 방안으로는 (1) 번역 전용 파인튜닝 데이터를 선택적으로 제외한 Ablation, (2) 인공적으로 생성한 병렬/비병렬 텍스트를 이용한 제어 실험, (3) 인간 평가와 오류 분석을 통한 번역 스타일·스케일 의존성 측정 등을 제시한다. 이러한 실험은 모델이 Local 신호에 의존하는지, Global 의미 정렬에 더 크게 의존하는지를 구분할 수 있다.

마지막으로, 논문은 번역을 ‘단일 프로세스’가 아니라 다중 메커니즘이 상호작용하는 복합 현상으로 재구성한다. 인간 번역도 도구(예: CAT)와 지식(예: 번역 메모리) 활용에 따라 로컬·글로벌 전략을 병행하듯, LLM도 두 학습 경로를 통해 번역 능력을 형성한다는 점을 강조한다. 이는 향후 번역 시스템 설계 시, 병렬 데이터 확보뿐 아니라 의미적 연관성을 탐색·강화하는 메타 학습 기법을 도입해야 함을 시사한다.