ManchuTTS 만주어를 위한 계층적 비자율 음성 합성
📝 원문 정보
- Title:
- ArXiv ID: 2512.22491
- 발행일:
- 저자: Unknown
📝 초록 (Abstract)
희소 언어인 만주어는 데이터 부족과 강한 형태소 결합이라는 두 가지 큰 난관을 안고 있다. 본 논문은 이러한 언어적 특성을 고려한 ManchuTTS(Manchu Text to Speech)를 제안한다. 형태소 결합을 효과적으로 처리하기 위해 음소·음절·운율의 3단계 텍스트 표현을 설계하고, 다중 입자 정렬을 위한 계층적 교차 모달 어텐션 메커니즘을 도입하였다. 합성 모델은 깊은 합성곱 신경망과 흐름 매칭 트랜스포머를 결합해 효율적인 비자율 생성 방식을 구현한다. 또한, 구조화된 음향‑언어 대응을 유도하기 위해 계층적 대비 손실을 추가하였다. 저자들은 최초의 만주어 TTS 데이터셋을 구축하고, 데이터 증강 전략을 적용해 저자원 상황을 완화하였다. 실험 결과, 전체 6.24시간 어노테이션 코퍼스 중 5.2시간만을 사용했음에도 MOS 4.52를 달성했으며, 모든 베이스라인 모델을 크게 앞섰다. Ablation 연구에서는 계층적 가이드가 형태소 결합 단어 발음 정확도(AWPA)를 31%, 운율 자연스러움을 27% 향상시킴을 확인하였다.💡 논문 핵심 해설 (Deep Analysis)
ManchuTTS는 언어학적·공학적 관점에서 희소 언어 TTS 연구에 새로운 패러다임을 제시한다. 첫째, 만주어는 어휘가 거의 전적으로 어근에 접사와 어미가 붙어 형성되는 고도로 교착적인 구조를 가지고 있다. 기존의 음소‑단위 혹은 문자‑단위 텍스트 인코딩은 이러한 긴 형태소 결합을 충분히 포착하지 못해 발음 오류와 억양 부자연스러움을 초래한다. 논문은 이를 해결하기 위해 ‘음소‑음절‑프로소디’라는 3계층 텍스트 표현을 도입하였다. 음소 레벨은 기본 발음 단위를, 음절 레벨은 음소들의 결합 규칙을, 프로소디 레벨은 억양·강세·리듬과 같은 고차원 운율 정보를 담는다. 이러한 다중 granularity는 이후의 계층적 교차 모달 어텐션에 의해 각각의 수준에서 적절히 정렬된다.두 번째로, 모델 아키텍처는 딥 컨볼루션 네트워크와 Flow‑Matching Transformer를 결합한다. 컨볼루션 레이어는 지역적 패턴(예: 자음‑모음 결합)을 효율적으로 학습하고, Transformer는 전역적인 의존성을 비자율 방식으로 모델링한다. Flow‑Matching 메커니즘은 오디오 파형을 연속적인 확률 흐름으로 변환함으로써, 기존의 autoregressive 모델이 겪는 시간 복잡도와 오류 전파 문제를 크게 완화한다.
세 번째 핵심 기여는 계층적 대비 손실(hierarchical contrastive loss)이다. 이는 동일 수준의 텍스트와 음향 표현을 서로 가깝게, 다른 수준은 멀게 만드는 목표 함수를 도입해, 모델이 “음소‑음절‑프로소디” 간의 구조적 일치를 명시적으로 학습하도록 유도한다. 결과적으로, 형태소 결합이 복잡한 만주어 단어에서도 발음 정확도와 자연스러운 억양을 동시에 달성한다.
데이터 측면에서는 6.24시간 분량의 최초 만주어 TTS 코퍼스를 구축하고, 음성 변조·시간 스트레칭·노이즈 삽입 등 다양한 증강 기법을 적용해 실질적인 학습 샘플을 확대하였다. 5.2시간(전체의 약 83%)만을 사용했음에도 MOS 4.52라는 높은 점수를 기록한 것은, 제안된 계층적 구조와 데이터 증강이 저자원 상황에서도 강인한 일반화 능력을 제공함을 입증한다.
Ablation 실험에서는 (1) 계층적 어텐션 제거, (2) 대비 손실 제거, (3) 데이터 증강 미사용 경우 각각 AWPA와 Prosodic Naturalness가 현저히 감소함을 보여, 제안 요소들의 상호 보완적 효과를 확인한다. 전체적으로, ManchuTTS는 형태소 결합이 강한 교착어, 특히 데이터가 극히 제한된 상황에서도 실용적인 TTS 시스템을 구현할 수 있음을 증명한다.