다국어 딥러닝으로 웹 레지스터 자동 식별

초록

본 논문은 16개 언어에 걸친 72,000여 문서를 25개의 레지스터 계층으로 라벨링한 Multilingual CORE 코퍼스를 구축하고, XLM‑R 기반 다국어 트랜스포머 모델을 이용해 웹 레지스터를 다중 라벨 분류한다. 평균 79% F1 점수를 달성했으며, 불확실한 라벨을 제거하면 90% 이상으로 상승한다. 다국어 모델이 단일언어 모델을 일관되게 앞서는 등, 레지스터 특성이 언어 간에 공유되지만 일부 언어 고유 특성도 존재함을 확인한다.

상세 분석

이 연구는 웹 텍스트의 다양성을 포괄적으로 다루기 위해 기존 CORE 스키마를 25개의 세부 레지스터로 확장한 새로운 다국어 코퍼스를 제시한다. 16개 언어(영어, 핀란드어, 프랑스어, 스웨덴어, 터키어 등)에서 문서당 평균 500~800 토큰을 확보했으며, 트랜스포머 기반 모델인 XLM‑R Large를 다중 라벨(멀티‑라벨) 설정으로 학습시켰다. 모델은 마이크로 F1 기준 79%를 기록했는데, 이는 기존 9‑클래스 X‑GENRE 대비 동일하거나 높은 수준이며, 레지스터 분류의 복잡성을 크게 늘린 상황에서도 성능 저하가 거의 없음을 의미한다.

특히, 모든 언어와 모델 설정에서 일정 수준의 ‘성능 상한선’이 관찰되었는데, 이는 레지스터 자체가 내재적으로 모호하고 혼합된 특성을 갖기 때문이라는 가설을 검증하기 위해 라벨 불확실성이 높은 문서를 제거한 실험을 진행했다. 데이터 정제 후 F1가 90%를 초과함으로써, 모델 한계보다는 라벨링 불확실성 및 하이브리드 텍스트의 존재가 주요 원인임을 강력히 시사한다.

하이브리드 텍스트 분석에서는 하이브리드 자체를 정확히 분류하기보다, 하이브리드와 순수 레지스터 문서를 구분하는 것이 더 큰 난관임을 발견했다. 이는 레지스터가 상황적·언어적 특성에 따라 연속적인 스펙트럼을 형성한다는 이론적 배경과 일치한다.

다국어 모델과 단일언어 모델을 비교한 결과, 데이터가 부족한 언어(예: 페르시아어, 일본어)에서도 다국어 모델이 현저히 높은 성능을 보였다. 제로샷 실험에서는 평균 7%의 성능 저하가 있었지만, 언어마다 3~8% 차이를 보이며, 레지스터 특성이 언어 간에 일정 부분 공유됨을 확인한다.

전반적으로 이 논문은 (1) 대규모 다국어 레지스터 코퍼스 구축, (2) 복잡한 계층형 레지스터 스키마에서도 높은 분류 정확도 달성, (3) 라벨 불확실성이 성능 상한을 결정한다는 실증적 증거 제공, (4) 다국어 딥러닝이 레지스터 식별에 있어 언어 자원이 제한된 상황에서도 유용함을 입증한다는 네 가지 주요 기여를 한다.