다국어 구음장애 음성 평가: 보편적 음소 인식과 언어별 대비 모델링

초록

본 논문은 보편적 전화 인식기(UPR)를 활용해 언어에 구애받지 않는 음성 전사 를 얻고, 각 언어의 음소 대조 특성을 반영한 매핑·정렬 과정을 통해 세 가지 세분화된 지표(PER, PFER, PhonCov)를 도출한다. 영어·스페인어·이탈리아어·타밀어 네 언어에 적용한 실험 결과, 언어별 대비를 고려한 접근이 임상 언어치료사의 지능성 평점과 높은 상관성을 보이며, 특히 PhonCov는 발음 재고(음소 다양성 감소)를 포착하는 새로운 정렬‑프리 지표로 유용함을 입증한다.

상세 분석

이 연구는 두 단계의 프레임워크를 제안한다. 첫 번째 단계는 wav2vec2‑XLSR‑53, wav2vec2‑LV60‑espeak‑cv‑ft, ZIPA‑large‑crctc‑800k 등 최신 UPR 모델을 이용해 입력 음성을 국제음성기호(IPA) 시퀀스로 변환한다. 이러한 보편적 전사는 언어‑특정 어휘·음운 규칙에 의존하지 않으므로 다국어 적용이 가능하다. 두 번째 단계에서는 각 언어마다 정의된 음소 인벤토리와 PanPhon이 제공하는 24개의 조음 특성 벡터를 활용한다. 언어별로 ‘대조적’인 특성(예: 타밀어의 길이 대비, 영어·스페인어의 유성·무성 대비 등)을 식별하고, 해당 특성에 가중치 1.0을 부여해 비대조적 특성은 무시한다. 이렇게 구성된 가중치 벡터 w를 사용해 두 IPA 심볼 사이의 거리 d_feat(s₁,s₂;w)를 L1‑norm 기반으로 계산한다.

거리 계산은 두 가지 핵심 작업에 쓰인다. 첫째, “phone‑to‑phoneme 매핑” 단계에서 UPR이 출력한 IPA 심볼을 목표 언어의 음소 인벤토리 중 가장 거리가 짧은 음소에 매핑한다. 이는 ‘지각적 자석 효과(perceptual magnet)’를 모델링한 것으로, 원어민 청자가 비표준 발음을 가장 가까운 기존 음소로 귀인하는 현상을 수치화한다. 둘째, 매핑된 음소 시퀀스와 정답(전문가가 제공한 텍스트 기반 G2P 변환 결과) 사이의 정렬을 수행한다. 정렬 알고리즘은 전통적인 Levenshtein 거리 대신, 앞서 정의한 d_feat를 비용 함수로 사용해 언어‑특정 조음 차이를 강조한다.

세 가지 평가 지표는 다음과 같다. (1) PER(Phoneme Error Rate)은 매핑·정렬 후의 삽입·삭제·대체 오류 비율을 나타내며, 전통적인 음소 정확도와 유사하지만 언어‑특정 거리 기반 정렬을 통해 더 민감하게 오류를 포착한다. (2) PFER(Phonological Feature Error Rate)은 정렬된 음소 쌍 사이의 평균 d_feat 값을 직접 사용해 조음 특성 수준의 오류를 정량화한다. 이는 PER보다 세밀한 조음 결함을 드러내며, 특히 비대조적 특성이 무시된 상황에서 의미가 있다. (3) PhonCov(Phoneme Coverage)는 매핑 단계에서 목표 언어의 전체 음소 집합에 대해 실제로 사용된 고유 음소 수의 비율을 계산한다. 정렬 없이도 발음 다양성 감소(예: 특정 음소가 완전히 사라지는 현상)를 측정할 수 있어, 진행성 신경퇴행성 질환에서 발음 감소 현상을 추적하는 데 유용하다.

실험에서는 네 언어(영어, 스페인어, 이탈리아어, 타밀어) 각각 50명 이상의 구음장애 환자와 동일 수의 정상 대조군을 수집했다. 각 발화에 대해 SLP(언어치료사) 평가 점수(Intelligibility Rating)를 기준점으로 삼아, PER, PFER, PhonCov와의 피어슨 상관계수를 계산했다. 결과는 다음과 같다. PER은 언어‑특정 매핑·정렬을 적용했을 때 평균 ρ=0.71로, 단순 ASR 기반 WER(ρ=0.58)보다 현저히 높았다. PFER는 정렬만 적용했을 때 가장 높은 상관(ρ=0.73)을 보였으며, 이는 조음 특성 오류가 직관적인 음소 오류보다 지능성에 더 직접적인 영향을 미친다는 기존 연구와 일치한다. PhonCov는 매핑 단계만 사용했을 때 ρ=0.65의 상관을 기록했으며, 특히 타밀어에서 길이 대비가 중요한 언어적 특성 때문에 큰 효과를 나타냈다.

또한, 언어별 특성 분석을 통해 흥미로운 임상적 인사이트를 도출했다. 예를 들어, 영어와 이탈리아어에서는 무성 파열음(