방언이 중요한 이유: 저자원 인도 방언 ASR 교차 전이 연구

초록

본 논문은 인도 데바나가리 문자 사용 방언들을 대상으로, 고자원 표준 언어와의 계통적 거리만으로는 전이 성능을 충분히 설명할 수 없음을 실증한다. 소량의 방언 데이터로 파인튜닝하면 대규모 표준 언어 데이터보다 동등하거나 더 좋은 인식 결과를 얻을 수 있음을 보여준다. 가르와리 사례 연구와 오류 분석을 통해 전이 편향과 정규화 문제도 조명한다.

상세 분석

이 연구는 인도 내 다양한 방언·언어 변종을 대상으로 교차 언어 전이(transfer) 효과를 정량적으로 평가한다. 먼저, 17,000시간 규모의 청정 음성으로 사전학습된 IndicWav2Vec 모델을 힌디어에 파인튜닝한 뒤, VAANI 데이터셋에 포함된 30개 데바나가리 스크립트 방언에 대해 WER를 측정한다. 결과는 힌디어 파인튜닝만으로도 50 % 수준의 높은 오류율을 보이며, 사전학습에 포함된 언어라 하더라도 잡음·자유발화·코드스위칭이 섞인 실제 환경에서는 성능이 급격히 저하된다는 점을 확인한다.

다음으로, 정규화되지 않은 철자 변이(orthographic variability)를 정량화하기 위해 테스트 전사에서 한 번만 등장하는 단어(하팍스 레고마) 비율과 타입‑투‑토큰 비율을 계산하였다. 이 지표와 WER 사이의 피어슨 상관계수는 ρ = 0.705(p = 4×10⁻⁴)로, 철자 변이가 클수록 오류가 크게 증가함을 보여준다. 이는 특히 Thethi, Surjapuri 등 철자 규칙이 일관되지 않은 방언에서 두드러졌다.

핵심 실험에서는 w2v‑bert‑2.0 모델을 17시간 규모의 방언 데이터로 파인튜닝하고, 동일 데이터셋의 모든 방언에 대해 제로샷(zero‑shot) 평가를 수행했다. 전체 언어에 대해서는 계통적 거리와 WER 사이에 양의 상관관계(ρ = 0.333, p = 1.1×10⁻⁷)가 존재했지만, 평가 대상을 비표준 방언으로 제한하면 이 관계가 약화된다. 특히, 마르와리(Marwari)나 마가디(Magadhi)와 같이 비교적 적은 데이터(57시간)만으로 파인튜닝한 모델이 힌디어·마라티·라자스탄어 등 고자원 표준 언어보다 일관되게 낮은 오류율을 기록했다. 이는 “방언 자체가 전이 효과를 촉진한다”는 새로운 인사이트를 제공한다.

마지막으로 가르와리(Garhwali) 사례 연구에서는 최신 자기지도 학습 모델들을 직접 평가하고, 오류를 전사 수준에서 분석했다. 모델들은 힌디어에 편향된 전사를 생성하는 경향이 있었으며, 코드스위칭 구간에서 영어 삽입을 과도하게 인식하거나, 방언 고유의 음운 변이를 표준 형태로 오인하는 오류가 빈번했다. 이러한 편향은 전이 학습 시 사전학습 언어가 모델의 언어 모델링에 과도히 영향을 미친다는 점을 시사한다.

전체적으로, 논문은 (1) 계통적 거리가 전이 성능의 기본적인 지표이지만 방언 특유의 음운·철자·코드스위칭 특성이 이를 크게 변형한다, (2) 소량의 방언 데이터만으로도 고자원 표준 언어보다 효율적인 파인튜닝이 가능함, (3) 전이 편향을 정량화하고 진단하는 방법론을 제시함으로써 향후 저자원 방언 ASR 개발에 실용적인 가이드라인을 제공한다는 점에서 의의가 크다.