표준에서 방언까지 텍스트와 음성 전이 차이

초록

본 연구는 독일어와 바이에른 방언을 대상으로 텍스트‑전용, 음성‑전용, 그리고 자동음성인식(ASR) 기반의 연쇄(cascaded) 모델 세 가지 설정에서 의도와 주제 분류 성능을 비교한다. 결과는 표준 독일어에서는 텍스트‑전용 모델이 최고 성능을 보였지만, 방언 데이터에서는 음성‑전용 모델이 가장 우수했으며, ASR이 표준화된 전사 결과를 제공할 경우 연쇄 모델도 방언에서 경쟁력을 갖는다는 점을 밝혀냈다. 또한 방언 음성 데이터셋을 새롭게 공개한다.

상세 분석

이 논문은 표준어와 방언 사이의 전이 문제를 텍스트와 음성 두 차원에서 동시에 탐구한다는 점에서 독창적이다. 먼저, 텍스트‑전용 설정에서는 사전학습된 다국어 트랜스포머(예: XLM‑R, mBERT, mDeBERTa)들을 미세조정해 의도·주제 분류에 적용했으며, 방언 텍스트는 비표준 철자와 어휘 변이 때문에 서브워드 토크나이징이 비효율적이라는 기존 연구와 일치하는 낮은 정확도를 보였다. 반면, 음성‑전용 모델(Whisper, XLS‑R, MMS 등)은 원시 오디오 신호를 직접 처리함으로써 방언의 발음적 특징을 포착하고, 특히 방언 전용 음성 데이터가 충분히 제공될 경우 표준어보다 높은 성능을 달성한다. 이는 음성 모델이 문자 수준의 정규화 문제를 회피하고, 음향적 변이를 학습할 수 있기 때문이다.

연쇄(cascaded) 설정은 ASR 시스템이 먼저 음성을 텍스트로 변환한 뒤, 텍스트 분류 모델에 입력한다. 여기서 핵심 변수는 ASR의 정규화 정도이다. 논문은 여러 ASR 모델(Whisper 다양한 크기, XLS‑R, MMS)을 사용해 전사 품질을 비교했으며, 표준 독일어에서는 ASR 오류가 적어 텍스트‑전용 모델에 근접했지만, 방언에서는 ASR이 방언 특유의 형태를 표준 독일어 형태로 강제 변환할 경우, 전사된 텍스트가 방언 특성을 잃어버리면서 분류 성능이 크게 저하된다. 그러나 일부 ASR(예: Whisper large‑v3‑turbo)은 방언 발화를 비교적 정확히 표준화된 형태로 전사해, 연쇄 모델이 방언 데이터에서도 텍스트‑전용 모델을 능가하는 결과를 보였다.

데이터 측면에서 저자는 기존 MASSIVE와 Speech‑MASSIVE 데이터셋을 활용해 독일어와 바이에른 방언을 각각 텍스트·음성 형태로 확보했으며, xSID 데이터셋을 방언 음성으로 직접 녹음해 새로운 방언 음성 의도 데이터셋을 구축했다. 또한 스위스 독일어(SwissGerman)와 표준 독일어를 이용한 주제 분류 실험을 추가해, 방언 전이 현상이 언어와 태스크에 걸쳐 일관되게 나타남을 확인했다.

실험 결과 표는 텍스트‑전용, 연쇄, 음성‑전용 모델 각각의 정확도와 표준어 대비 방언 성능 차이를 정량적으로 제시한다. 텍스트‑전용 모델은 표준어에서 93% 수준의 높은 정확도를 보였지만 방언에서는 55% 이하로 급락한다. 반면 음성‑전용 모델은 표준어에서는 70% 수준이지만 방언에서는 80%에 육박한다. 연쇄 모델은 ASR 품질에 따라 크게 변동하며, 특히 표준화된 전사를 제공하는 Whisper large‑v3‑turbo는 방언에서 텍스트‑전용 모델보다 약 5% 높은 정확도를 기록한다.

이러한 결과는 방언 NLP에서 전통적인 텍스트‑중심 파이프라인이 반드시 최선이 아니라는 점을 시사한다. 방언이 주로 구어 형태로 존재한다는 사실을 감안하면, 음성‑전용 모델을 직접 활용하거나, 방언 특성을 보존하면서 표준화된 전사를 생성하는 고성능 ASR을 결합하는 전략이 실용적이다. 또한, 방언 데이터가 제한적인 상황에서 토큰‑프리(pixel) 모델이나 대규모 멀티모달 사전학습이 향후 연구 방향이 될 수 있다.