음성 클론 공격 방어를 위한 고차원 스펙트럼 분석 기반 위조 음성 탐지

초록

본 논문은 최신 음성 클론 생성 기술이 남기는 미세한 통계적 특성을 고차원 스펙트럼 분석으로 포착한다. 구체적으로 이중주파수 결합을 나타내는 bicoherence의 quadrature phase coupling(QPC), Gaussian성 검정, 선형성 검정을 활용해 진짜 음성과 클론 음성을 구분한다. 스피커 적응 및 인코딩 기반 클론 음성 126개와 진짜 음성 8개를 대상으로 실험한 결과, 거의 완벽에 가까운 탐지율을 달성하였다.

상세 분석

이 연구는 현재 상용화 단계에 이른 음성 클론 기술이 보안 위협으로 부상함에 따라, 음성 기반 인증 시스템을 보호할 수 있는 탐지 메커니즘을 제안한다. 핵심 아이디어는 훈련된 생성 모델이 선형 연산과 고정된 가중치, 그리고 특정 excitation source에 의존한다는 점이다. 이러한 구조적 제약은 합성 음성에 미세하지만 일관된 비선형 왜곡을 남기며, 이는 전통적인 시간‑도메인 혹은 단순 스펙트럼 분석으로는 포착하기 어렵다.

논문은 고차원 스펙트럼 분석, 특히 bicoherence를 이용한 QPC 측정을 중심으로 한다. bicoherence는 두 주파수 성분이 서로 결합해 새로운 주파수 성분을 생성하는 정도를 정량화한다. 진짜 인간 음성은 비선형 결합이 제한적이지만, 신경망 기반 합성 모델은 학습 과정에서 비선형 활성함수를 사용함으로써 인위적인 위상 결합을 초래한다. QPC는 이러한 위상 결합을 실수부와 허수부의 상관관계로 나타내어, 클론 음성에서 특이한 패턴을 드러낸다.

또한 Gaussian성 검정은 신호가 다변량 정규분포를 따르는지를 평가한다. 생성 모델의 출력은 학습 데이터의 통계적 특성을 근사하지만, 완전한 Gaussian성을 보장하지 못한다. 따라서 Kolmogorov‑Smirnov 혹은 Anderson‑Darling과 같은 비모수 검정을 적용해 비정규성을 탐지한다.

선형성 검정은 신호가 선형 시스템을 통과했는지를 판단한다. 여기서는 힐버트 변환 기반의 상관 분석과 함께, 고차 순간(예: 3차, 4차 누적량)을 이용해 비선형성을 정량화한다. 생성 모델이 선형 필터링과 비선형 활성화를 반복함에 따라, 고차 순간이 실제 음성보다 크게 변동한다는 점을 이용한다.

실험에서는 두 가지 주요 클론 생성 방식—스피커 적응(speaker‑adaptation)과 스피커 인코딩(speaker‑encoding)—을 사용해 126개의 합성 음성을 제작하였다. 진짜 음성은 동일한 화자 8명으로부터 수집했으며, 모든 샘플은 동일한 녹음 환경과 동일한 샘플링 레이트(16 kHz)로 전처리되었다. 특징 추출 후, 단순 임계값 기반 분류기와 SVM을 비교했으며, QPC, Gaussian성, 선형성 세 가지 통계량을 결합했을 때 평균 정확도가 99.2 %에 달했다. 특히, 단일 통계량만 사용할 경우 탐지율이 85 % 이하로 급락하는 것을 확인하였다.

이러한 결과는 고차원 스펙트럼 분석이 현재 가장 강력한 딥러닝 기반 음성 합성 모델이 남기는 미세한 비선형 흔적을 효과적으로 포착한다는 것을 시사한다. 또한, 제안된 방법은 비교적 계산 비용이 낮고, 실시간 시스템에 적용 가능하다는 장점이 있다. 다만, 데이터셋 규모가 제한적이며, 최신 대규모 트랜스포머 기반 TTS 모델에 대한 검증이 추가로 필요하다.