음성 정체성 변조의 새로운 패러다임 VoxMorph

초록

VoxMorph는 5초 수준의 짧은 음성 샘플만으로도 사전 학습 없이 두 화자의 목소리를 고품질로 혼합하는 제로샷 음성 정체성 변조 프레임워크이다. 목소리를 ‘프로소디(말투)’와 ‘템브리(음색)’ 두 임베딩으로 분리하고, 각각을 Slerp 방식으로 보간한 뒤, 자동 회귀 언어 모델과 Conditional Flow Matching 네트워크를 연계해 멜스펙트로그램을 생성하고 신경 보코더로 파형을 복원한다. 실험 결과, 기존 방법 대비 2.6배 높은 음질, 73 % 낮은 인식 오류, 67.8 %의 높은 변조 공격 성공률을 달성하였다.

상세 분석

본 논문은 음성 생체인식 시스템에 대한 새로운 위협 모델인 Voice Identity Morphing(VIM)을 실용적인 수준으로 끌어올렸다. 기존 연구는 대량의 화자 데이터와 수시간에 달하는 파인튜닝을 필요로 했으며, 동일하거나 유사한 음성 특성을 가진 화자 쌍에만 적용 가능했다. VoxMorph는 이러한 제약을 완전히 해소한다. 첫 번째 핵심은 음성을 ‘프로소디(리듬·피치·억양)’와 ‘템브리(고유 음색)’라는 두 차원으로 명시적으로 분리한 점이다. 이를 위해 GE2E 기반의 프로소디 인코더와 CAM++ 기반의 템브리 인코더를 각각 사용해 각각의 임베딩을 추출한다. 두 임베딩은 고차원 구면상에 존재하므로, 선형 평균이 초래하는 왜곡을 방지하기 위해 Spherical Linear Interpolation(Slerp)을 적용한다. Slerp은 각도 기반 보간을 통해 임베딩 간의 기하학적 구조를 보존함으로써, 변조 과정에서 발생할 수 있는 음색 혼합 아티팩트를 최소화한다.

두 번째 핵심은 합성 단계이다. 보간된 프로소디 임베딩(e_P^α)은 자동 회귀 언어 모델(LM)에 조건으로 제공되어 텍스트 입력을 기반으로 음성 토큰 시퀀스를 생성한다. 이는 말투와 억양을 자연스럽게 반영한다. 동시에 보간된 템브리 임베딩(e_T^α)은 Conditional Flow Matching(CFM) 네트워크에 입력되어, 토큰 시퀀스로부터 멜스펙트로그램을 생성한다. CFM은 확률 흐름 ODE를 풀어 노이즈를 목표 스펙트럼으로 변환하는 방식으로, 고해상도 스펙트럼을 효율적으로 복원한다. 두 단계 모두 Classifier‑Free Guidance(CFG)를 적용해 조건 일치도를 강화한다. 최종적으로 HiFTNet 보코더가 멜스펙트로그램을 고품질 파형으로 변환한다.

데이터 측면에서 저자는 LibriSpeech의 청정 서브셋을 활용해 500개의 무작위 화자 쌍(남·여 각각)으로 실험을 진행했으며, 사전 선택 없이도 높은 변조 성공률을 보였다. 평가 지표는 Fréchet Audio Distance(FAD), Kullback‑Leibler Divergence(KLD), Word Error Rate(WER), 그리고 Mated Morphed Presentation Match Rate(MMPMR)와 Fully Mated MP(R) 등이다. VoxMorph‑v1(단일 5‑20초 클립)과 VoxMorph‑v2(다중 클립, 총 1‑2분) 모두 기존 최첨단 모델(ViM, V‑Evo, MorphFader)을 크게 앞섰다. 특히 FMMPMR에서 67.8 %를 기록한 것은 두 화자의 신원을 동시에 인증받게 하는 가장 엄격한 기준에서도 성공했음을 의미한다.

이러한 성과는 음성 합성 기술이 보안 분야에 미치는 위험성을 재조명한다. 고품질 변조 음성을 손쉽게 생성할 수 있게 되면, 기존 ASV 시스템은 사전 대비 더 큰 위협에 노출된다. 따라서 변조 공격 탐지(MAD) 기술의 고도화와, 변조에 강인한 인증 메커니즘 개발이 시급하다.

한계점으로는 현재 실험이 영어 읽기 음성에 국한되었으며, 감정 표현이나 방언 등 보다 복합적인 음성 변이에는 추가 연구가 필요하다. 또한, 변조된 음성의 청취자 인지적 영향(예: 신뢰도, 피싱 위험)도 향후 다루어야 할 과제이다.