음성 공격에서 음운이 끼치는 화자 정체성 변형

초록

본 논문은 DeepSpeech를 표적으로 한 화이트박스 적대적 음성 공격을 수행하고, 생성된 적대적 오디오가 전사 오류뿐 아니라 화자 임베딩에도 변화를 일으켜 화자 인증 정확도를 크게 떨어뜨리는 현상을 ‘정체성 드리프트(identity drift)’라는 개념으로 규명한다. 16개의 음운적으로 다양하게 설계된 목표 문장을 이용해 실험했으며, 모음 중앙화·자음 치환 등 특정 음운 패턴이 교란에 취약함을 확인하고, 길이가 길고 자음군이 복잡한 구절일수록 화자 임베딩의 구분력이 급격히 감소한다는 결과를 제시한다.

상세 분석

이 연구는 적대적 음성 공격을 단순히 전사 오류(Word Error Rate, Character Error Rate) 수준에서 평가하는 기존 접근법을 넘어, 음운 수준에서의 왜곡이 화자 인증 시스템에 미치는 영향을 정량화한다. 먼저, 화이트박스 환경에서 DeepSpeech 모델에 대해 Carlini‑Wagner 방식의 CTC‑Loss 기반 최적화를 적용해 목표 텍스트(y_t)로 강제 전사되는 적대적 오디오 x′=x+δ를 생성한다. 여기서 δ는 SNR(dB) 기준으로 인간이 감지하기 어려운 수준으로 제한한다.

핵심은 16개의 목표 문장을 설계할 때 음운 다양성을 의도적으로 확보한 점이다. 각 문장은 모음·자음의 비율, 파열음·마찰음·파열음·비음·반모음 등 다양한 음운 카테고리를 포함하도록 구성했으며, 짧은 명령어부터 복잡한 pangram까지 길이와 음운 밀도가 크게 차이나도록 배치하였다. 이를 통해 “음운 구조 ↔ 정체성 드리프트” 관계를 통계적으로 검증할 수 있었다.

화자 임베딩 평가는 두 가지 최신 모델, ECAPA‑TDNN과 ResNet‑50 기반 SV 백본을 사용했으며, 코사인 유사도로 genuine(동일 화자)와 impostor(다른 화자) 쌍을 비교한다. 정량 지표로는 d′(discriminability index)와 TMR(True Match Rate)@0.1% FMR을 제시한다. 실험 결과, 단순 모음이 풍부한 짧은 구문(T1, T2)은 TMR이 100%에 가깝고 d′≈910으로 거의 변형이 없었다. 반면, fricative·affricate가 다수 포함된 T5, T10, T14와 같은 구절은 TMR이 8499% 사이로 감소하고, d′가 45 수준으로 급격히 떨어졌다. 가장 긴 pangram인 T12‑T16에서는 TMR이 4475%로 급락하고, d′는 3 이하까지 내려가 화자 인증이 거의 무용지물이 됨을 확인했다.

음운별 취약성 분석에서는 특히 마찰음(ʃ, s, z 등)과 파열음·비음 대비가 약한 구절이 교란에 민감함을 보였다. 이는 마찰음이 스펙트럼 상에서 넓은 주파수 대역을 차지해 작은 파형 변조에도 크게 변형되기 쉬운 특성 때문으로 해석된다. 또한, 모음이 풍부한 구절은 음성 신호의 기본 주파수(F0)와 포먼트 구조가 비교적 안정적이어서 δ가 작아도 화자 고유의 스펙트로그램 패턴을 유지한다.

SNR과 정체성 드리프트 간의 상관관계도 명확히 드러난다. 평균 SNR이 40 dB 수준(극히 미세한 잡음)에서도 복잡 구절에서는 TMR이 80% 이하로 떨어졌으며, SNR이 30 dB 이하로 낮아질수록 TMR은 급격히 감소하고 d′는 3~4 수준으로 고착된다. 이는 인간이 인지하기 어려운 수준의 잡음이라도, 음운 구조가 복잡한 경우 화자 임베딩을 크게 왜곡한다는 의미다.

두 모델(ECAPA‑TDNN, ResNet‑50) 모두 유사한 추세를 보였으며, 이는 정체성 드리프트가 특정 모델 아키텍처에 국한된 현상이 아니라, 음성 신호 자체의 음운적 변형이 임베딩 공간에 일관된 영향을 미친다는 점을 시사한다.

마지막으로, 논문은 기존 방어 연구가 주로 전사 정확도 향상에 초점을 맞추는 반면, 음운 기반 방어가 필요함을 강조한다. 예를 들어, 마찰음·파열음 구간에 대한 스펙트럼 마스크, 혹은 음운 단위의 자기감시(self‑monitoring) 메커니즘을 도입하면 적대적 교란을 조기에 탐지하고, 화자 인증 시스템의 정체성 드리프트를 완화할 수 있을 것으로 전망한다.