다국어 번역 모델이 품은 보편적 개념 구조: NLLB‑200의 언어·개념 기하학 탐구

초록

본 논문은 Meta의 200언어 번역 모델 NLLB‑200이 언어 간 보편적 개념 표현을 학습했는지를 다중언어 임베딩 기하학을 통해 검증한다. 스와데시 핵심 어휘 135개 언어에 대해 임베딩 거리를 측정하고, 언어 유전적 거리와의 상관, CLICS 코렉시피케이션 데이터와의 유사도 차이, 언어별 평균 중심화 후 개념 간 거리 비율 향상, 그리고 개념 쌍 간 의미 오프셋 벡터의 크로스‑랭귀지 일관성을 분석한다. 결과는 모델이 언어 계통 구조와 보편적 의미 연관성을 내재하고 있음을 시사한다.

상세 분석

본 연구는 NLLB‑200이라는 3.3 B 파라미터 규모의 대규모 다국어 번역 모델을 대상으로, ‘보편적 개념 저장소’ 가설을 정량적으로 검증한다는 점에서 의미가 크다. 첫 번째 실험에서는 스와데시 핵심 어휘(101개 개념)를 135개 언어에 대해 문맥이 포함된 문장 안에 삽입하고, 해당 토큰의 인코더 최종 레이어 출력을 추출했다. 여기서 중요한 methodological choice는 ‘carrier sentence’ 사용이다. 이는 순수 토큰 임베딩이 위치·시작 토큰에 의해 왜곡되는 것을 방지하고, 실제 단어 의미를 보다 순수하게 반영하도록 설계되었다. 다만, 영어 기반 문장 구조가 비인도유럽어의 어순·형태와 상이할 경우, 언어별 편향이 남을 가능성이 있다. 이를 보완하기 위해 저자는 문맥 없이 단어만 입력한 베어‑워드 임베딩을 별도로 추출해 비교했으며, 주요 결과가 크게 변하지 않음을 보고하였다.

두 번째 실험에서는 전체 임베딩에 대해 All‑But‑The‑Top(ABTT) 기법을 적용해 상위 3개의 주성분을 제거함으로써 anisotropy를 완화하였다. 이는 기존 연구(Mu & Viswanath, 2018)와 일치하는 접근이며, 특히 다국어 모델에서 언어 식별 정보가 몇몇 주성분에 집중되는 현상을 효과적으로 억제한다. 이후 언어별 평균 중심화를 수행해 각 언어가 차지하는 고유 오프셋을 제거하고, 순수 개념 간 거리 구조를 분석했다. 이 과정에서 개념 간 거리 대비 동일 개념 내 거리 비율이 1.19배 향상된 것은, 언어‑특정 변동을 배제했을 때 개념 클러스터가 보다 명확히 드러난다는 강력한 증거다.

세 번째 실험은 언어 유전적 거리와 임베딩 거리의 상관관계를 Mantel 테스트로 검증했다. ρ=0.13, p=0.020이라는 통계적 유의성을 보였으며, 이는 NLLB‑200이 단순히 표면 형태만을 학습한 것이 아니라, 언어 계통 구조를 내재적으로 반영하고 있음을 시사한다. 비록 상관계수가 낮지만, 200개 언어 중 135개만을 대상으로 한 제한된 샘플임을 고려하면 충분히 의미 있는 결과라 할 수 있다.

네 번째 실험에서는 CLICS 3 데이터베이스에 등재된 ‘코렉시피케이션’(동일 형태로 두 개념을 표기) 쌍과 비코렉시피케이션 쌍의 임베딩 유사도를 비교했다. Mann‑Whitney U 검정 결과 U=42656, p=1.33×10⁻¹¹, Cohen’s d=0.96으로, 코렉시피케이션 쌍이 현저히 더 가깝게 군집됨을 확인했다. 이는 모델이 인간 언어에서 관찰되는 의미적 근접성을 학습했음을 뒷받침한다.

다섯 번째 실험은 의미 오프셋 벡터(예: man→woman, big→small)의 크로스‑랭귀지 일관성을 측정했다. 평균 코사인 유사도 0.84는 개념 간 관계가 언어마다 거의 동일한 방향성을 가진다는 것을 의미한다. 이는 ‘관계 구조 보존’ 가설을 강력히 뒷받침하며, 언어‑특정 어휘 차이를 넘어선 추상적 의미 네트워크가 존재함을 암시한다.

마지막으로 색채 용어와 같은 추가 실험을 통해 결과의 일반성을 검증했으며, 표면 형태(특히 차용어)와 의미 수렴을 구분하기 위한 회귀 분석을 수행해 표면 유사성이 전체 변동의 2% 이하에 불과함을 보고했다. 전반적으로 실험 설계가 다각적이며, 통계적 검증과 대조 실험을 충분히 포함하고 있어 결과의 신뢰성을 높인다.

하지만 몇 가지 한계도 존재한다. 첫째, 임베딩 추출 시 ‘carrier sentence’이 영어 기반이므로 비영어형 언어에서 구조적 편향이 남을 가능성이 있다. 둘째, ABTT에서 k=3이라는 고정값이 모든 언어에 동일하게 적용되었는데, 언어별 anisotropy 정도가 다를 경우 최적 k값이 달라질 수 있다. 셋째, 135개 언어는 전체 200개 언어 중 일부에 불과하므로, 특히 저자원 언어에서의 결과 일반화는 추가 검증이 필요하다. 마지막으로, 의미 오프셋 벡터의 일관성을 평가할 때 사용된 22개의 개념 쌍이 제한적이며, 보다 다양한 관계(동사‑명사, 속성‑대상 등)를 포함하면 모델의 관계 학습 능력을 더 정밀히 파악할 수 있을 것이다.

이러한 한계를 감안하더라도, 본 논문은 다국어 번역 모델이 인간의 언어학적·인지과학적 보편성을 어느 정도 내재하고 있음을 최초로 대규모 실증적으로 보여준다. 특히 ‘언어 중립적 개념 저장소’라는 신경과학적 가설을 모델 내부 기하학과 연결시킨 점은 NLP와 인지과학 간의 교차 연구에 새로운 길을 제시한다. 향후 연구에서는 보다 다양한 언어 유형(예: 교착어, 다중형태소어)과 더 풍부한 의미 관계를 포함한 실험 설계, 그리고 fMRI·EEG와 같은 뇌영상 데이터와의 직접적인 비교를 통해 모델-뇌 간의 구조적·기능적 일치를 탐색할 수 있을 것이다.