조건부 SampleRNN을 활용한 다목적 음성 변환

초록

본 논문은 다중 화자 음성 데이터를 이용해 언어 특징, 피치, 화자 ID를 입력으로 하는 조건부 SampleRNN을 학습하고, 이를 통해 소스 화자의 내용과 피치를 유지하면서 목표 화자의 음성 스타일을 생성하는 비병렬 다대다 음성 변환 시스템을 제안한다. 주관적 청취 실험에서 기존 VC 방법보다 자연스러움과 화자 일관성에서 우수한 성능을 보였다.

상세 분석

본 연구는 기존 음성 변환(VC) 방식이 주로 소스와 타깃의 스펙트럼 매핑에 의존하고, 이를 위해 병렬 코퍼스나 복잡한 변환 모델을 필요로 하는 점을 극복하고자 한다. 핵심 아이디어는 SampleRNN이라는 시계열 기반 딥 생성 모델을 조건부로 활용해, 화자 고유의 스타일을 네트워크 자체가 학습하도록 하는 것이다. 이를 위해 저자들은 다중 화자 말뭉치를 수집하고, 각 발화에 대해 1) 텍스트 기반 언어 특징(phoneme, duration 등), 2) 추출된 피치(F0) 곡선, 3) 화자 식별을 위한 원-핫 인코딩을 라벨로 제공한다. 이러한 세 가지 조건을 SampleRNN의 여러 층에 삽입함으로써, 모델은 고해상도 오디오 샘플을 생성하면서도 입력된 언어·피치 정보를 정확히 반영한다.

학습 단계에서는 모든 화자의 데이터를 혼합해 하나의 통합 모델을 구축한다. 이때 화자 ID가 명시적으로 제공되므로, 모델은 각 화자별 음성 특성을 별도의 파라미터 없이도 내부 표현으로 구분한다. 변환 단계에서는 소스 화자의 언어 특징과 피치를 그대로 사용하고, 목표 화자의 ID만 교체한다. 결과적으로 소스의 내용과 억양은 보존되면서, 목표 화자의 음성 색채(톤, 발음 습관 등)가 재현된다.

실험은 두 가지 주요 평가로 구성된다. 첫째, MOS(mean opinion score)와 ABX 테스트를 통한 주관적 청취 평가에서, 제안 시스템은 기존 GMM 기반 VC와 최신 CycleGAN 기반 VC보다 평균 0.4~0.6점 높은 자연스러움을 기록했다. 둘째, 화자 동일성 테스트에서는 목표 화자와의 일치도가 85% 이상으로, 비병렬 다대다 변환에서도 화자 정체성을 효과적으로 전달함을 확인했다.

기술적 관점에서 주목할 점은 SampleRNN이 기존의 프레임 기반 합성 모델과 달리 샘플 단위의 고해상도 출력을 제공한다는 점이다. 이는 미세한 발음 차이나 포먼트 변화를 자연스럽게 재현하게 해, 변환 후 음성의 품질 저하를 최소화한다. 또한, 조건부 입력을 통해 화자 ID만 교체하면 즉시 새로운 화자에 대한 변환이 가능하므로, 사전 별도 모델 학습 없이도 확장성이 뛰어나다.

한계점으로는 (1) 대규모 다중 화자 데이터가 필요하다는 점, (2) 실시간 변환에 필요한 연산량이 아직 높은 편이라는 점, (3) 피치와 언어 특징을 별도로 추출해야 하는 전처리 단계가 존재한다는 점을 들 수 있다. 향후 연구에서는 경량화된 RNN 구조나 변압기 기반 대체 모델을 도입해 실시간성을 확보하고, 자동화된 특징 추출 파이프라인을 구축함으로써 전체 시스템을 엔드투엔드로 통합하는 방향이 제시된다.