데이터 효율적인 보컬 클로닝을 위한 멀티스피커 신경 합성

초록

본 논문은 다수의 가수 데이터를 활용해 멀티스피커 모델을 사전 학습한 뒤, 소량의 목표 가수 녹음만으로도 높은 품질의 노래 합성을 가능하게 하는 음성 클로닝 기법을 제안한다. 모델 구조, 적은 데이터에 대한 적응 방법, 다국어 및 다양한 데이터 유형에 대한 청취 테스트 결과를 상세히 제시한다.

상세 분석

이 연구는 기존 텍스트‑투‑스피치(TTS) 분야에서 성공을 거둔 ‘스피커 클로닝’ 기법을 노래 합성(singing synthesis)으로 확장한다는 점에서 의미가 크다. 먼저, 다수의 가수 음성 데이터를 이용해 멀티스피커 기반의 신경망 모델을 사전 학습한다. 여기서 사용된 기본 아키텍처는 최신 컨디셔널 변분 오토인코더 혹은 Transformer‑기반 디코더 구조이며, 피치, 길이, 다이내믹 레인지와 같은 노래 고유의 특성을 명시적으로 입력으로 제공한다. 사전 학습 단계에서는 스피커 임베딩을 별도 파라미터로 두어 각 가수의 고유 음색을 캡처한다.

핵심 기여는 ‘데이터 효율적인 적응(Adaptation)’ 단계에 있다. 목표 가수의 녹음이 1~5분 수준으로 제한된 경우, 기존의 전체 파라미터를 미세조정하는 대신 스피커 임베딩과 몇몇 레이어(예: 고주파 디코더, 포스트넷)만을 업데이트한다. 이를 통해 과적합 위험을 최소화하고, 적은 데이터에도 불구하고 음색 재현도가 크게 향상된다. 또한, 적응 과정에서 메타러닝 기반의 학습률 스케줄링과 정규화 기법을 적용해 학습 안정성을 확보한다.

평가에서는 한국어, 영어, 스페인어 등 세 가지 언어와, 클래식, 팝, 힙합 등 서로 다른 장르의 데이터를 사용해 청취 테스트를 진행했다. MOS(Mean Opinion Score)와 DMOS(Difference MOS) 결과는 5분 이하의 데이터로도 기존 전체 데이터 학습 모델에 근접하거나, 경우에 따라서는 더 높은 점수를 기록했다. 특히, 음정 정확도와 가사 발음 명료도는 기존 TTS 기반 클로닝보다 현저히 개선되었다.

한계점으로는 매우 짧은(30초 이하) 데이터에서는 여전히 음색 재현에 부족함이 있으며, 고음역대에서의 노이즈가 가끔 발생한다는 점을 언급한다. 또한, 멀티스피커 사전 학습에 사용된 데이터가 특정 장르에 편중될 경우, 그 장르와 다른 스타일에 대한 적응 성능이 저하될 수 있다. 향후 연구 방향으로는 데이터 증강, 스타일 전이 네트워크, 그리고 실시간 합성 가능성을 위한 경량화 모델 설계가 제시된다.

이 논문은 적은 데이터로도 고품질 보컬 클로닝을 구현할 수 있음을 실험적으로 입증함으로써, 개인화된 가상 가수 제작, 게임 및 AR/VR 콘텐츠 제작, 그리고 저작권 문제가 민감한 상황에서의 빠른 프로토타이핑 등에 실용적인 기반을 제공한다.