실시간 화자 익명화를 위한 스트림 보이스 앤온: 신경 오디오 코덱과 언어 모델 활용

초록

본 논문은 신경 오디오 코덱(NAC)과 인과적 언어 모델(LM)을 결합해 스트리밍 화자 익명화 시스템인 Stream‑Voice‑Anon을 제안한다. 의사 화자 임베딩 샘플링, 임베딩 혼합, 다양한 프롬프트 선택을 통해 화자 정보를 효과적으로 차단하면서도 내용·감정 보존을 달성한다. VoicePrivacy 2024 챌린지 기준에서 지연 180 ms 수준으로 기존 스트리밍 방법인 DarkStream 대비 인식 오류율을 최대 46 % 감소시키고 감정 인식 정확도를 28 % 향상시켰다.

상세 분석

Stream‑Voice‑Anon은 최신 NAC 기반 인코더‑디코더 구조와 인과적(causal) 트랜스포머 언어 모델을 실시간 화자 익명화에 맞게 재구성한 점이 가장 큰 혁신이다. 먼저, 콘텐츠 인코더는 HuBERT‑T에서 파생된 자기지도 학습 특징을 이용해 완전 인과적(look‑ahead 없이) VQ(벡터 양자화) 토큰을 추출한다. 이 토큰은 화자 정보를 최소화하면서 음소 수준의 언어 정보를 보존한다는 점에서 기존 연속형 특징 기반 VC와 차별화된다. 이어서, 사전 학습된 Acoustic Encoder가 다중 코드북(8개)으로 구성된 음향 토큰을 생성하고, 이 역시 인과적 컨볼루션으로 구현돼 스트리밍 환경에서 프레임 단위 지연만을 요구한다.

핵심은 AR(autoregressive) Voice Conversion 모델이다. 두 단계 디코더 구조—Slow‑AR이 프레임‑레벨 잠재 상태 zₜ를 생성하고, Fast‑AR이 해당 상태를 기반으로 코드북별 토큰을 순차적으로 예측한다—는 프레임당 다중 코드북을 효율적으로 복원한다. 특히, 고정 지연 방식과 달리 논문에서는 d∈{1,…,8}을 균등 샘플링해 훈련함으로써 동적 지연(dynamic‑delay) 모델을 도입, 추론 시 지연을 자유롭게 조절하면서 품질‑지연 트레이드오프를 최적화한다.

프라이버시 보호 메커니즘은 두 축으로 설계된다. ① 프롬프트 풀(P)에서 K개의 발화를 무작위 선택·섞어 다양한 음향·콘텐츠 컨텍스트를 제공하고, ② 각 프롬프트에서 추출한 화자 임베딩을 평균한 뒤, 가우시안 샘플 gₛ와 선형 혼합(α=0.9)해 최종 익명 화자 임베딩 gₐₙₒₙ을 만든다. 이 과정은 원본 화자와 전혀 무관하게 사전 계산이 가능해 실시간 스트리밍에 적합하다.

실험에서는 LibriHeavy·CommonVoice를 학습에, VCTK·ESD·VoxCeleb1·CREMA‑D를 프롬프트 풀로 사용했으며, VoicePrivacy 2024 프로토콜에 따라 lazy‑informed와 semi‑informed 두 종류의 공격자를 평가했다. 결과는 다음과 같다. 인식 정확도(WER)는 DarkStream 대비 최대 46 % 감소, 감정 인식 정확도(UAR)는 28 % 상승, 지연은 180 ms(동적 지연)로 DarkStream(200 ms)과 동등하거나 약간 개선되었다. lazy‑informed 공격에 대한 EER은 46.53 %로 거의 무작위 수준을 유지했으며, semi‑informed 공격에 대해서는 18.98 %로 약간 감소했다(즉, 약 15 % 성능 저하). 프롬프트 다양성을 늘릴수록 semi‑informed 공격에 대한 EER이 상승하는 경향을 보였으며, 이는 공격자가 특정 프롬프트 패턴에 적응하는 것을 방지한다는 가설을 실증한다.

전반적으로 이 논문은 NAC와 인과적 LM을 결합해 화자 정보를 양자화된 콘텐츠 토큰과 별도 화자 임베딩으로 명확히 분리함으로써, 스트리밍 환경에서도 높은 유용성(인식·감정)과 강력한 프라이버시 보호를 동시에 달성한 점이 주목할 만하다. 다만, semi‑informed 공격에 대한 약간의 취약성 및 오프라인 방법과의 격차는 향후 연구 과제로 남는다.