다중 화자 대화형 오디오 딥페이크 탐지의 새로운 지평

초록

본 논문은 다중 화자가 동시에 등장하는 대화형 오디오 딥페이크를 위한 체계적 분류 체계와 2,830개의 실제·합성 대화 클립을 포함한 MsCADD 데이터셋을 제시한다. VITS와 SoundStorm 기반 TTS 모델로 생성된 완전 합성 대화를 포함하며, LFCC‑LCNN, RawNet2, Wav2Vec 2.0 세 가지 신경망 기반 탐지 모델을 벤치마크한다. 실험 결과, 기존 단일 화자 탐지 모델은 다중 화자 상황에서 성능 격차를 보이며, 특히 LFCC‑LCNN은 높은 TPR에도 불구하고 낮은 TNR을 기록한다. 데이터셋과 벤치마크는 향후 다중 화자 딥페이크 탐지 연구의 기반을 제공한다.

상세 분석

이 연구는 현재 오디오 딥페이크 탐지 분야가 단일 화자에 국한되어 있다는 한계를 정확히 짚고, 다중 화자 대화형 시나리오가 실제 악용 사례에서 얼마나 위험한지를 설득력 있게 제시한다. 특히 2023년 슬로바키아 선거 직전 발생한 가짜 인터뷰 사건을 사례로 들어, 대화 중 여러 인물이 동시에 등장하는 상황에서의 위조 위험성을 강조한다. 논문은 다중 화자 딥페이크를 ‘부분 조작’과 ‘전체 조작’으로 구분하는 3차원 분류 체계를 제안한다. 여기서 ‘컨텍스트’는 대화의 사회적·문화적 배경, ‘화자 구성’은 화자 수와 성별 조합, ‘조작 범위’는 한 화자만 변조된 경우부터 전체 대화가 합성된 경우까지를 포괄한다. 이러한 체계는 데이터셋 구축과 모델 평가에 일관된 기준을 제공한다는 점에서 큰 의의가 있다.

데이터셋 구축 과정에서도 여러 중요한 설계 선택이 눈에 띈다. 실제 대화 스크립트는 영어 대화 코퍼스(66개 유튜브 영상)에서 추출했으며, 이를 VITS와 Google NotebookLM의 SoundStorm 기반 TTS 모델로 합성했다. VITS는 다양한 화자 톤과 억양을 제공해 음성 다양성을 확보했고, SoundStorm은 대화 흐름 속에 웃음, 중단, 즉흥적인 반응 등을 삽입해 인간적인 자연스러움을 더했다. 두 화자는 남·여, 남·남, 여·여 조합으로 무작위 배치했으며, 총 7개의 고유 합성 화자와 5개의 실제 화자를 사용해 음성 다양성을 극대화했다. 클립 길이는 10~22초로 설정해 실제 인터뷰나 토론 상황을 모사했다.

벤치마크 모델 선정 역시 현행 딥페이크 탐지 연구의 흐름을 반영한다. LFCC‑LCNN은 전통적인 스펙트럼 기반 특징과 경량 CNN을 결합한 모델로, ASVspoof 2021 챌린지에서 좋은 성과를 보였으나 다중 화자 환경에서는 TNR이 53 %에 머무르는 등 실제 화자 구분에 한계가 있다. RawNet2는 원시 파형을 직접 입력받아 학습하는 엔드‑투‑엔드 구조로, TPR 84 %와 TNR 97 %를 달성해 전반적인 균형이 가장 좋았다. Wav2Vec 2.0은 대규모 비지도 사전학습 모델을 파인튜닝한 것으로, F1 0.89와 정확도 0.89를 기록했으며, 특히 TNR이 97.8 %로 가장 높은 실음성 구분 능력을 보였다. 세 모델 모두 완전 합성 대화에 대해서는 높은 TPR을 보였지만, 실제 대화와의 구분에서는 LFCC‑LCNN이 현저히 낮은 TNR을 보여, 스펙트럼 기반 특징이 화자 겹침과 배경 잡음에 취약함을 시사한다.

결과적으로, 이 논문은 다중 화자 대화형 딥페이크 탐지에 필요한 데이터와 평가 기준을 최초로 제공함으로써, 기존 단일 화자 중심 연구와는 다른 새로운 연구 방향을 제시한다. 특히, 부분 조작(한 화자만 변조)과 전체 조작(전체 대화 합성) 사이의 미세한 차이를 포착할 수 있는 모델 개발이 향후 과제로 남는다. 데이터셋이 공개되어 있어, 연구 커뮤니티가 다양한 모델을 시험하고, 화자 다중화, 겹침, 잡음 등 현실적인 변수를 고려한 견고한 탐지 시스템을 구축하는 데 큰 도움이 될 것으로 기대된다.