벵골어 딥페이크 음성 탐지 최신 벤치마크와 파인튜닝 효과

초록

음성 합성 및 보이스 컨버전 기술의 급속한 발전으로 딥페이크 오디오가 보안 위협으로 대두되고 있다. 그러나 벵골어 딥페이크 탐지는 아직 충분히 연구되지 않았다. 본 연구에서는 BanglaFake 데이터셋을 이용해 벵골어 오디오 딥페이크 자동 탐지를 조사한다. 먼저 Wav2Vec2‑XLSR‑53, Whisper, PANNs‑CNN14, WavLM, Audio Spectrogram Transformer 등 여러 사전학습 모델을 활용한 제로샷 추론을 평가하였다. 제로샷 결과는 탐지 능력이 제한적임을 보여주었으며, 최고 성능을 보인 모델인 Wav2Vec2‑XLSR‑53조차 정확도 53.80 %, AUC 56.60 %, EER 46.20 %에 그쳤다. 이후 Wav2Vec2‑Base, LCNN, LCNN‑Attention, ResNet18, ViT‑B16, CNN‑BiLSTM 등 다양한 아키텍처를 벵골어 딥페이크 탐지에 맞게 파인튜닝하였다. 파인튜닝된 모델들은 강력한 성능 향상을 나타냈으며, ResNet18이 정확도 79.17 %, F1 점수 79.12 %, AUC 84.37 %, EER 24.35 %로 최고 성능을 기록했다. 실험 결과는 파인튜닝이 제로샷 추론에 비해 성능을 크게 개선함을 확인한다. 이 연구는 벵골어 딥페이크 음성 탐지에 대한 최초의 체계적인 벤치마크를 제공하며, 저자원 언어에서 파인튜닝된 딥러닝 모델의 효과성을 강조한다.

상세 요약

본 논문은 저자원이 제한된 언어, 즉 벵골어에서의 딥페이크 음성 탐지 문제를 처음으로 체계적으로 다룬 점에서 학술적 의의가 크다. 먼저 저자들은 BanglaFake라는 공개 데이터셋을 활용해 베이스라인을 구축했는데, 이는 기존에 영어, 중국어 등 주요 언어에 비해 데이터가 부족한 상황을 극복하려는 시도로 볼 수 있다. 제로샷(in‑zero‑shot) 실험에서는 다섯 가지 최신 사전학습 음성 모델을 적용했으며, 이들 모델은 모두 대규모 다국어 혹은 멀티모달 데이터로 사전학습된 것이 특징이다. 그러나 결과는 기대에 못 미쳐, 최고 성능조차 60 % 이하의 AUC와 46 % 수준의 EER을 기록했다. 이는 사전학습된 모델이 언어적 특성뿐 아니라 딥페이크 생성 방식까지 포괄적으로 학습하지 못했기 때문으로 해석된다.

그 다음 단계에서 저자들은 다양한 아키텍처를 벵골어 딥페이크 탐지에 맞게 파인튜닝하였다. 특히 CNN 기반의 LCNN, LCNN‑Attention, 그리고 ResNet18과 같은 이미지‑전용 모델을 음성 스펙트로그램에 적용한 점이 눈에 띈다. 또한 Transformer 기반 ViT‑B16과 시퀀스 모델인 CNN‑BiLSTM을 포함시켜 모델군의 다양성을 확보했다. 파인튜닝 결과는 전반적으로 성능이 크게 상승했으며, 특히 ResNet18이 79 % 이상의 정확도와 84 % 이상의 AUC를 달성해 가장 우수한 결과를 보였다. 이는 스펙트로그램 이미지에 대한 CNN의 특징 추출 능력이 딥페이크 음성의 미세한 변조 패턴을 효과적으로 포착했음을 의미한다.

또한 EER(Equal Error Rate)이 24 % 수준으로 크게 감소한 점은 실제 서비스 적용 시 오탐·미탐 균형을 맞추는 데 유리함을 시사한다. 다만 아직 20 % 이상의 오류율이 남아 있어, 실시간 보안 시스템에 바로 투입하기에는 추가적인 개선이 필요하다. 향후 연구에서는 데이터 증강, 멀티태스크 학습, 그리고 생성 모델과의 적대적 학습(adversarial training) 등을 도입해 성능을 한층 끌어올릴 여지가 있다.

전반적으로 이 논문은 저자원 언어에서 딥페이크 탐지 모델을 구축할 때 사전학습 모델만으로는 한계가 있음을 명확히 보여주며, 파인튜닝을 통한 도메인 특화가 필수적이라는 중요한 교훈을 제공한다. 또한 다양한 모델 아키텍처를 비교함으로써 연구자들에게 향후 선택 가능한 후보군을 제시하고, 벵골어뿐 아니라 다른 저자원 언어에도 적용 가능한 방법론적 토대를 마련했다.