덜 할수록 더 좋다? 사르디니아어 ASR 예측을 층별 디코딩으로 진단

초록

본 연구는 사전 학습된 wav2vec2‑xlsr 모델을 활용해, 25계층 트랜스포머 인코더의 각 층에서 음소 예측을 수행한다. 상위 층을 순차적으로 제거하면서 디코딩한 결과, 최종 층보다 두 층 위(즉, Layer 22)에서 얻은 음소 오류율(PER)이 가장 낮았다. 중간 층은 음소 정체성을 더 잘 보존하고, 삽입·대체 오류를 감소시키며, 특히 약한 강세의 모음 삭제가 적었다. 또한, 중간 층에서 올바르게 예측된 음소가 최종 층에서 오류로 전환되는 ‘퇴행 오류(regressive error)’를 정의하고, 53건을 분석해 깊은 층이 음성 세부 정보를 추상화하면서 일부 정확한 예측을 손상시킴을 보여준다. 이러한 결과는 저자원 언어에서 층별 probing이 모델 진단 및 효율적 추론에 유용함을 시사한다.

상세 분석

이 논문은 다국어 음성 인식 모델이 내부적으로 어떻게 음소 정보를 처리하는지를 정밀히 탐구한다. 먼저, wav2vec2‑xlsr‑53‑espeak‑cv‑ft 모델은 25개의 트랜스포머 인코더와 7개의 컨볼루션 피처 인코더로 구성돼 있으며, CTC 손실을 통해 음소 레벨 출력으로 직접 매핑된다. 연구진은 ‘층 절단(truncation)’ 방식을 채택해, 최상위 트랜스포머 층을 0~5개까지 차례로 제거하고, 남은 마지막 층의 은닉 표현을 그대로 최종 프로젝션 헤드에 입력해 greedy 디코딩을 수행했다. 이는 모든 층이 동일한 차원을 공유하므로 구조적 수정 없이 중간 층에서도 음소 예측이 가능하다는 점에서 중요한 실험 설계이다.

실험에 사용된 데이터는 Campidanese Sardinian 방언의 자발적 발화 48개(평균 4초)이며, 전문 음성학자가 직접 음소 전사한 고품질 레퍼런스를 제공한다. PER 측정 외에도, SequenceMatcher 기반 정렬을 통해 삽입·삭제·대체 오류를 세분화하고, 각 오류 유형이 층별로 어떻게 변하는지 시각화하였다.

주요 결과는 다음과 같다. (1) 최상위 층을 두 개 제거한 Layer 22에서 PER가 35.40%로 최저를 기록했으며, 이는 최종 층(36.73%)보다 유의미하게 낮다. 층을 더 많이 제거하면(예: Layer 19 이하) 삭제 오류가 급증해 전체 성능이 급격히 저하된다. (2) 삽입 오류는 CTC 구조 특성상 거의 발생하지 않지만, 삭제 오류는 특히 짧은 모음(특히 /i/, /u/, /a/)에서 빈번히 나타난다. 이는 약한 강세 위치의 모음이 음성 신호에서 지속시간과 포먼트가 약해져 모델이 인식하기 어려운 점과, 컨볼루션 리셉티브 필드가 짧은 음소를 충분히 포착하지 못하는 구조적 한계가 복합적으로 작용한다는 해석이 가능하다. (3) 대체 오류는 주로 발음적 근접성을 가진 음소 쌍(예: /E/→/e/, /O/→/o/, /G/→/g/)에서 발생하며, 이는 중간 층이 음소의 큰 범주(모음·자음) 정도는 보존하지만 미세한 조음 차이는 놓치는 경향을 보여준다.

특히 ‘퇴행 오류(regressive error)’ 개념을 도입한 점이 눈에 띈다. 중간 층에서 올바르게 맞춘 음소가 더 깊은 층에서 대체 혹은 삭제로 바뀌는 현상을 53건(대체 39, 삭제 14)으로 정량화했으며, 가장 빈번한 사례는 고음역 모음 /u/가 /o/ 혹은 /U/로 변하는 경우다. 이는 깊은 층이 음성 신호의 세부 정보를 추상화하면서, 언어적 규칙성(예: 모음 조화, 음운적 빈도)에 기반한 일반화로 전환되는 과정으로 해석된다. 즉, 전체 오류율이 낮아지는 것이 반드시 더 풍부한 음성‑언어 정보를 보존한다는 의미는 아니며, 중간 층이 오히려 음소 정체성을 더 충실히 반영할 수 있음을 시사한다.

마지막으로, PER 감소가 가장 큰 다섯 개 발화에 대한 정성적 분석을 통해, 중간 층 출력이 레퍼런스와 구조적으로 더 일치하고, 불필요한 삽입이나 중복이 적으며, 전체 음소 순서와 길이가 보다 현실적임을 확인했다. 이는 단순히 출력 길이가 짧아져 PER가 낮아진 것이 아니라, 실제 음성 신호에 대한 더 정확한 세분화와 정렬이 이루어졌다는 증거다.

종합하면, 이 연구는 저자원 언어 상황에서 ‘층별 프로빙’이 모델 내부의 음성‑언어 상호작용을 진단하고, 효율적 추론(예: early‑exit) 전략을 설계하는 데 실용적인 인사이트를 제공한다는 점에서 의의가 크다.