자동 화자 인증을 이용한 음성 모방 공격 분석

본 논문은 자동 화자 인증(ASV) 시스템을 악용한 새로운 형태의 음성 모방 공격 시나리오를 제안하고, 이를 실험적으로 검증한다. 연구 배경으로는 기존의 스푸핑 공격(재생, 음성 변환, 텍스트‑투‑스피치)과 달리 인간이 직접 목소리를 흉내내는 ‘모방(mimicry)’ 공격이 상대적으로 연구가 부족하다는 점을 지적한다. 특히, 대규모 공개 음성 데이터와 오픈소스 ASV 기술이 보편화됨에 따라, 공격자가 목표 화자를 자동으로 탐색하고 선택할 수 있는 가능성이 대두된다. **연구 목표**는 네 가지이다. (1) 공개된 ASV 시스템을 이용해 공격자가 목표 화자를 어떻게 선정하는지, 그리고 그 유사도 순위가 다른 폐쇄형 ASV 시스템에 얼마나 잘 전이되는지 확인한다. (2) 공격자가 목표 화자를 모방함으로써 실제 ASV 점수가 향상되는지를 평가한다. (3) 청취자 군중소싱 실험을 통해 인간이 인지하는 화자 유사도와 ASV 점수 간의 관계를 분석한다. (4) 모방 과정에서 발생하는 운율(말하기 속도, F0) 및 포먼트 변화를 정량화한다. **데이터와 시스템**: 공격자는 6명의 핀란드어 원어민 피험자를 모집했으며, 목표 화자는 VoxCeleb1·2에 포함된 7,365명의 유명인 음성 데이터베이스에서 자동 검색하였다. 공격자 측 ASV는 i‑vector 기반 GMM‑UBM 모델을 사용했으며, 방어 측 ASV는 최신 x‑vector 딥러닝 모델을 적용했다. 목표 화자는 각 공격자마다 ‘가장 가까운(closest)’, ‘중간값(median)’, ‘가장 먼(furthest)’, 그리고 ‘일반적인(common)’ 네 종류로 선정되었다. **실험 절차**는 크게 두 단계로 나뉜다. 첫 번째 단계에서는 공격자가 자연스러운 자신의 목소리(Zero‑effort)와 목표 화자를 흉내낸 목소리(Dedicated mimicry)를 각각 녹음한다. 두 번째 단계에서는 이 녹음들을 방어 측 ASV에 입력해 점수를 산출하고, 동시에 Amazon Mechanical Turk 등 군중소싱 플랫폼을 통해 청취자에게 화자 유사도를 평가하도록 했다. 추가로, 말하기 속도, 기본 주파수(F0), 주요 포먼트(F1‑F4)를 추출해 모방 전·후의 변화를 분석하였다. **주요 결과**는 다음과 같다. (1) i‑vector와 x‑vector 사이의 유사도 점수 전이율이 높아, 공개된 ASV가 목표 시스템의 판단에 큰 영향을 미칠 수 있음을 확인했다. (2) 모방 시도는 전반적인 ASV 점수를 목표 화자에 가깝게 만들지 못했으며, 특히 자연 상태에서 이미 목표 화자와 음성 특성이 유사한 경우에는 오히려 점수가 감소하는 경우도 있었다. (3) 청취자 평가에서도 모방 전후의 화자 유사도 차이는 통계적으로 유의미하지 않았으며, ASV 점수와 인간 인지 사이에 약한 상관관계만 존재했다. (4) 운율 분석에서는 말하기 속도가 평균 12 % 정도 변했지만, F0와 포먼트 변화는 미미했고, 이는 비전문 모방자가 음성 생성 메커니즘을 크게 조절하지 못함을 의미한다. (5) 도메인 불일치(녹음 환경·채널 차이) 분석을 통해 점수 감소가 주로 환경 차이에 기인함을 확인했다. **논의**에서는 비전문 모방자가 현재 상용 ASV 시스템에 실질적인 위협을 가하기는 어렵지만, 공개된 ASV를 활용해 목표 화자를 자동으로 선정하고 사전에 유사성을 파악하는 과정 자체가 새로운 공격 벡터가 될 수 있음을 강조한다. 또한, 방어 측면에서는 ‘전이 가능한 유사도 점수’를 탐지하거나, 비정상적인 말하기 속도 변화를 보조적인 스푸핑 탐지 신호로 활용하는 방안을 제시한다. **결론**적으로, 연구는 (i) ASV‑assisted mimicry attack이라는 새로운 위협 모델을 실증하고, (ii) 비전문 모방자는 현재 수준의 ASV에 대해 큰 위협이 되지 않으며, (iii) 향후 방어 연구는 시스템 간 점수 전이와 비정상적인 프로소디 변화를 감시하는 방향으로 나아가야 함을 제안한다.