형태소 기반 대조 사전 학습으로 IGT 자동화 혁신

초록

CWoMP는 형태소를 의미‑형태소 단위의 원자적 표현으로 학습하고, 대조 학습을 통해 단어와 형태소를 동일 임베딩 공간에 정렬한다. 자동 해석기(decoder)는 가변 사전에서 형태소를 검색해 인터리니어 글로싱(IGT)을 생성한다. 이 접근법은 저자원 언어에서 기존 문자‑시퀀스 모델보다 높은 정확도와 효율성을 보이며, 사전 확장만으로 추론 시 성능을 즉시 개선할 수 있다.

상세 분석

CWoMP(Contrastive Word‑Morpheme Pretraining)는 전통적인 IGT 자동화 방법이 gloss를 단순 문자 시퀀스로 취급해 형태소 간의 구조적 관계를 무시하는 문제점을 해결한다. 논문은 먼저 형태소를 “형태‑의미” 쌍(s, g) 형태의 원자적 단위로 정의하고, 이를 BoM(Bag‑of‑Morpheme) 인코더에 입력한다. 인코더는 두 단계로 구성된다. 첫 번째는 단어‑컨텍스트 인코더(pθ)로, 입력 문장의 각 단어 w를 고차원 벡터로 변환한다. 두 번째는 형태소 인코더(qθ)로, 사전에 존재하는 모든 형태소 m을 동일 차원의 임베딩으로 매핑한다. 두 인코더는 대조 손실을 통해 학습되며, 구체적으로 각 단어 w와 그에 속한 형태소 집합 Pi 사이의 유사도 S(w, m) = pθ(w)·qθ(m) 를 온도 매개변수 τ 로 정규화한 소프트맥스 형태로 정의한다. 이때, 긍정 샘플은 실제 형태소 집합, 부정 샘플은 전체 형태소 집합에서 무작위로 추출된 형태소이며, InfoNCE 형태의 손실을 최소화한다.

대조 학습을 통해 얻어진 공유 임베딩 공간은 단어와 형태소 사이의 의미적 정렬을 보장한다. 이는 사전 기반 디코더가 “가장 높은 점수를 받은 형태소 순서”를 선택해 gloss를 생성하도록 만든다. 디코더는 단순히 순차적으로 형태소를 복원하는 것이 아니라, 현재 컨텍스트와 사전 내 형태소 임베딩 간의 내적을 기반으로 후보를 재정렬한다. 이 과정은 Beam Search와 유사하지만, 후보 집합이 사전 B에 한정되므로 탐색 공간이 크게 축소돼 연산 효율성이 크게 향상된다.

특히 CWoMP는 “Mutable Lexicon”이라는 개념을 도입한다. 사전 B는 학습 단계에서 고정되지만, 추론 시 사용자는 새로운 형태소를 추가하거나 기존 형태소의 임베딩을 미세 조정할 수 있다. 이는 현장 언어학자들이 새로운 형태소를 발견하거나 기존 형태소의 표기법을 수정할 때 모델을 재학습할 필요 없이 즉시 반영할 수 있음을 의미한다. 논문에서는 이 기능을 “lexicon expansion at inference time”이라고 부르며, 실험적으로 사전 크기를 10 % 정도 늘렸을 때 BLEU‑like 점수가 평균 2.3 % 상승함을 보고한다.

효율성 측면에서 CWoMP는 기존 문자‑시퀀스 기반 Transformer 모델 대비 파라미터 수가 약 30 % 감소하고, 추론 속도는 1.8배 가량 빨라졌다. 이는 형태소 수준에서의 토큰화가 입력 시퀀스 길이를 크게 줄이고, 대조 학습이 사전 학습 단계에서 강력한 일반화 능력을 부여하기 때문이다.

실험은 12개의 저자원 언어(예: 아프리카의 와우, 오세아니아의 토라 등)와 3개의 중간 규모 언어(예: 히브리어, 터키어, 일본어)에서 수행되었다. 평가 지표는 Morpheme Error Rate(MER)와 전체 Gloss Accuracy를 사용했으며, CWoMP는 평균 MER 12.4 %를 기록해 기존 최첨단 모델(≈18 %)보다 크게 앞섰다. 특히 학습 데이터가 1 k 문장 이하인 극저자원 상황에서 MER 차이는 7 % 포인트에 달했다.

한계점으로는 형태소 사전 구축이 초기 단계에서 필요하다는 점이다. 사전이 부정확하거나 불완전하면 대조 학습이 잘못된 정렬을 학습할 위험이 있다. 또한, 형태소가 다중 의미를 가질 경우(동형이의어) 현재 구현에서는 컨텍스트만으로 구분하기 어려워 오류가 발생한다. 향후 연구에서는 다중 의미 형태소를 위한 다중 임베딩 혹은 메타‑학습 기법을 도입하고, 사전 자동 구축 파이프라인을 강화할 계획이다.

요약하면, CWoMP는 형태소를 핵심 단위로 삼아 대조 학습 기반 임베딩을 구축하고, 가변 사전을 활용한 효율적인 디코더를 통해 IGT 자동화에서 정확도와 해석 가능성을 동시에 달성한 혁신적인 프레임워크이다.