피치 의존 확장 합성곱 기반 준주기 WaveNet 보코더

초록

본 논문은 고정된 팽창 합성곱 구조를 갖는 기존 WaveNet 보코더의 피치 제어 한계를 극복하기 위해, 입력 F0 값에 따라 시간‑가변적인 팽창 크기를 적용하는 피치‑의존 팽창 합성곱(PDCNN) 모듈을 제안한다. PDCNN을 계층적으로 쌓은 QPNet 구조는 준주기 신호인 음성을 효과적으로 모델링하며, 동일하거나 두 배 규모의 기존 WaveNet 대비 피치 조절 능력은 크게 향상되면서도 음질은 비슷한 수준을 유지한다는 것을 객관·주관 실험을 통해 입증한다.

상세 분석

본 연구는 딥러닝 기반 보코더, 특히 WaveNet이 고품질 음성 합성에 뛰어난 성능을 보이지만, 훈련 데이터에 존재하지 않는 F0(기본 주파수)값을 입력받았을 때 피치 재현성이 크게 떨어지는 구조적 한계를 가지고 있다는 점에 주목한다. WaveNet은 고정된 팽창(dilation) 크기의 1D 합성곱을 층별로 쌓아 넓은 수용 영역을 확보하는데, 이 고정 팽창은 시간 축에서 일정한 간격으로 정보를 수집하도록 설계돼 있다. 따라서 음성처럼 주기가 명확히 변하는 신호에서는 주기성에 맞춰 동적으로 수용 영역을 조절할 수 없으며, 결과적으로 훈련 시 관찰된 피치 범위 밖의 F0를 제어하려 할 때 위상 정렬이 깨지고 음성 품질이 저하된다.

이를 해결하기 위해 저자들은 “피치‑의존 팽창 합성곱(PDCNN)”이라는 새로운 연산 블록을 고안한다. PDCNN은 입력된 F0값을 실시간으로 읽어들여 현재 프레임의 주기 T=fs/F0(여기서 fs는 샘플링 주파수)와 연동된 팽창 크 d_t = round(T / k) 형태로 동적으로 조정한다(k는 설계 파라미터). 이렇게 하면 각 타임스텝마다 합성곱 필터가 실제 음성 주기에 맞춰 샘플을 스킵하거나 포착하게 되므로, 네트워크가 “준주기” 구조를 자연스럽게 학습한다.

또한 저자는 PDCNN을 단일 층이 아니라 여러 층에 계단식으로 배치한 “Quasi‑Periodic Net(QPNet)”을 제안한다. 초기 층에서는 큰 팽창을 사용해 장기 의존성을 포착하고, 뒤쪽 층으로 갈수록 팽창을 점진적으로 감소시켜 세밀한 주기 정보를 보강한다. 이 계단식 구조는 기존 WaveNet이 한 번에 모든 스케일을 처리하려는 비효율성을 완화하고, 피치 변동에 따른 시간‑가변 수용 영역을 효과적으로 구현한다.

실험 설계는 두 축으로 나뉜다. 첫째, 객관적 평가에서는 RMSE와 V/UV 오류, 그리고 F0 추적 정확도를 측정해 PDCNN이 F0 변조에 얼마나 민감하게 반응하는지를 검증한다. 둘째, 주관적 평가에서는 MOS와 ABX 테스트를 통해 청취자들이 인식하는 음질 및 피치 일관성을 확인한다. 비교 대상은 동일 파라미터 수를 가진 기본 WaveNet과, 파라미터 수를 두 배로 늘린 “Large‑WaveNet”이다. 결과는 QPNet이 피치 제어 범위가 넓은 상황에서도 MOS가 3.8~4.0 수준으로 유지되며, 특히 훈련 데이터 외부의 F0(예: 150 Hz 이하 혹은 300 Hz 이상)에서 RMSE가 30 % 이상 감소하는 등 피치 재현성이 현저히 개선됨을 보여준다.

기술적 관점에서 주목할 점은 다음과 같다. 첫째, PDCNN은 기존 1D 합성곱 연산에 간단한 인덱스 변환만 추가함으로써 구현 복잡도가 크게 증가하지 않는다. GPU 가속 환경에서도 연산량이 크게 늘어나지 않아 실시간 합성에 충분히 적용 가능하다. 둘째, 피치 정보가 명시적으로 네트워크에 제공됨으로써 “조건부” 생성 모델의 한계를 보완한다. 이는 기존 WaveNet이 학습 과정에서 암묵적으로 피치를 추정해야 했던 점과 대비된다. 셋째, 계단식 팽창 설계는 멀티‑스케일 주기 정보를 동시에 활용할 수 있게 해, 전통적인 멀티‑밴드 혹은 멀티‑스케일 모델과 유사한 효과를 내면서도 파라미터 효율성을 유지한다.

한계점도 존재한다. PDCNN은 F0가 정확히 추정되거나 제공될 때 최적 성능을 발휘한다는 전제가 있다. 따라서 F0 추정 오류가 큰 경우 전체 시스템 성능이 저하될 가능성이 있다. 또한, 현재 구현은 단일 스피커와 제한된 언어(영어) 데이터에 대해 검증했으며, 다중 화자·다국어 환경에서의 일반화 능력은 추가 연구가 필요하다.

종합하면, 본 논문은 WaveNet 기반 보코더의 피치 제어 문제를 구조적 관점에서 해결하고, 동적 팽창을 통한 준주기 신호 모델링이라는 새로운 패러다임을 제시한다. 이는 고품질 음성 합성뿐 아니라, 음성 변조, 보컬 합성, 그리고 음악 신디시스 등 피치 조절이 핵심인 다양한 오디오 응용 분야에 직접적인 파급 효과를 기대할 수 있다.