다중언어 모델, 언어 간 지식은 어떻게 전달되는가

초록

본 연구는 BLOOM‑1.7B와 Qwen‑2를 대상으로 다국어 단어 임베딩 정합성, 문장 유사도·NER 탐색, 그리고 고자원 언어에서 저자원 언어로의 지식 전이 능력을 종합적으로 평가한다. 결과는 고자원 언어에서는 우수하지만, 저자원 언어에서는 특히 깊은 층에서 표현이 퇴화하는 한계를 드러낸다.

상세 분석

본 논문은 세 가지 핵심 실험을 통해 다중언어 언어모델(MLM)의 내부 메커니즘을 정밀히 파헤친다. 첫 번째 실험에서는 5,000개의 영단어와 Google 번역 API를 이용해 프랑스어·스페인어·독일어·중국어로 번역한 쌍을 만든 뒤, BLOOM‑1.7B의 정적(word‑level) 임베딩을 추출하고 코사인 유사도로 정량화하였다. 결과는 유럽계 언어군이 영어와 0.85~0.92 수준의 높은 유사도를 보인 반면, 구조가 크게 다른 중국어는 0.45 수준으로 현저히 낮았다. PCA·t‑SNE 시각화에서도 유럽계 언어는 영어와 겹치는 클러스터를 형성했으나, 중국어는 독립된 군집을 이루어 언어적 거리감을 시각적으로 확인할 수 있었다.

두 번째 실험은 모델의 층별 행동을 탐색하는 프로빙 작업이다. 문장 유사도와 NER 두 과제를 각각 Opus 병렬 코퍼스와 CoNLL‑2003 데이터셋으로 구성했으며, 입력을 각 층에 전달해 얻은 은닉 상태를 코사인 유사도와 F1 점수로 평가했다. BLOOM‑1.7B는 초기 0‑5층에서 힌디어·타밀어에 대해 0.92~0.95의 높은 유사도를 기록했지만, 아라비아어는 0.50 수준으로 시작해 중간층에서도 격차가 유지되었다. 특히 15층 이후 깊은 층으로 갈수록 모든 언어에서 유사도가 급감했으며, 은닉 상태 값도 -1.0에 가까워지는 등 표현 퇴화 현상이 뚜렷했다. 반면 Qwen‑2는 초기 저자원 언어인 아라비아어가 0.45에서 빠르게 0.80까지 상승했으며, 깊은 층에서도 성능 저하가 거의 없었다. 이는 Qwen‑2의 어텐션 메커니즘과 레이어 정규화가 다언어 간 정렬을 보다 견고하게 유지한다는 암시를 제공한다.

세 번째 실험은 고자원 영어에서 학습된 지식을 저자원 언어(아라비아어·스와힐리어)로 전이하는 교차언어 전이능력을 평가한다. 여기서는 BLOOM‑560M과 multilingual‑BERT‑base을 사용해 텍스트 분류와 NER 과제를 수행했으며, 정확도와 F1 점수로 전이 효율을 측정했다. 결과는 multilingual‑BERT가 전통적으로 안정적인 전이 성능을 보였지만, BLOOM‑560M은 데이터 증강과 셀프‑슈퍼바이즈드 사전학습을 적용했을 때 저자원 언어에서 5~7%p의 성능 향상을 달성했다. 이는 대규모 사전학습 코퍼스와 최신 아키텍처가 저자원 언어에 대한 일반화 능력을 강화할 수 있음을 시사한다.

전반적으로 논문은 (1) 언어 간 구조적 유사성이 임베딩 정합성에 큰 영향을 미친다, (2) 모델의 초기 층은 일반 의미를 포착하고, 깊은 층은 언어·태스크 특화 정보를 담당한다는 층별 역할 구분이 가능하다, (3) 아키텍처 설계와 학습 전략에 따라 저자원 언어에 대한 전이 효율이 크게 달라진다라는 세 가지 핵심 인사이트를 도출한다. 특히 Qwen‑2와 같은 최신 모델이 깊은 층에서도 표현 퇴화를 억제하는 메커니즘을 갖추면, 다중언어 시스템의 포괄성과 형평성을 크게 향상시킬 수 있음을 강조한다.