경량 스트리밍 제로샷 음성 변환 MeanVC

초록

MeanVC는 14 M 파라미터 규모의 경량 모델로, 청크 단위 자동회귀 디노이징과 평균 흐름(mean flow) 기법을 결합해 단일 샘플링 단계만으로 고품질 제로샷 음성 변환을 실현한다. 스트리밍 환경에서 0.136 RTF와 211 ms 전체 지연을 달성하며, 기존 AR·NAR 기반 시스템보다 자연스러움(NMOS)·화자 유사도(SMOS)·CER·SSIM 등에서 전반적으로 우수한 성능을 보인다.

상세 분석

MeanVC는 기존 스트리밍 제로샷 VC가 안고 있던 “속도·경량·고품질” 삼중 과제를 혁신적으로 해결한다. 첫 번째 핵심은 청크‑와이즈 자동회귀 디노이징 전략이다. 입력 BNFs(병목 특성)를 160 ms 청크로 나눈 뒤, 각 청크는 이전 청크의 깨끗한 스펙트로그램을 프롬프트로 활용한다. 이는 MoonCast에서 영감을 받은 인과적 마스크를 적용해, 현재 청크는 최대 K개의 이전 청크에만 접근하도록 제한함으로써 과도한 히스토리 의존을 방지하고, 장기 화자 일관성을 유지한다.

두 번째 핵심은 Mean Flow 기반의 확산 모델링이다. 전통적인 흐름 매칭(CFM)은 다수의 함수 평가(NFE)를 필요로 해 실시간 적용이 어렵다. Mean Flow는 평균 속도장(u)을 직접 회귀하도록 설계해, ODE의 적분을 평균 속도 하나로 대체한다. 학습 시 목표 속도장 uₜ₍ₜ₎ = vₜ − (t−r)(vₜ∂ₙu + ∂ₜu) 를 최소화하고, 샘플링 단계에서는 z₀ = z₁ − fθ(z₁,0,1) 형태의 1‑NFE 연산만 수행한다. 이렇게 하면 고품질 스펙트로그램을 단일 스텝으로 생성하면서도 연산량을 크게 줄일 수 있다.

세 번째로 Diffusion Adversarial Post‑Training (D‑APT) 를 도입해 과도한 스무딩을 완화한다. 디노이징 디코더인 DiT를 생성기와 동일한 구조의 판별기로 재활용하고, 교차‑어텐션 전용 블록을 삽입해 전역 특징을 추출한다. GAN‑형 손실(L_adv)로 훈련함으로써 고주파 디테일을 복원하고, 청취자 평가에서 DNSMOS 점수를 향상시킨다.

구조적으로 MeanVC는 사전 학습된 스트리밍 ASR(Fast‑U2++), 화자 인코더(ECAPA‑TDNN), 템버 인코더(크로스‑어텐션), DiT 디코더, 그리고 Vocos 보코더를 파이프라인화한다. 전체 파라미터는 14 M에 불과하지만, DiT 블록 4개·히든 사이즈 512·어텐션 헤드 2개로 충분한 표현력을 확보한다. 실험에서는 10 k시간 규모의 Mandarin 데이터(Emilia)와 Aishell3 파인튜닝을 통해 제로샷·알려진 화자 모두에서 기존 최고 성능을 상회한다. 특히 RTF 0.136·전체 지연 211 ms는 단일 CPU 코어에서도 실시간 스트리밍을 가능하게 한다.

요약하면, MeanVC는 청크‑와이즈 자동회귀와 평균 흐름을 결합한 새로운 확산 기반 스트리밍 VC 프레임워크로, 파라미터 효율성, 낮은 지연, 그리고 고품질 변환이라는 세 축을 동시에 만족한다. 이는 실시간 음성 변환, 가상 아바타, 실시간 다국어 더빙 등 다양한 실용 응용에 큰 파급력을 가질 것으로 기대된다.