긴 형식 오디오의 내용 익명화로 프라이버시 강화

초록

본 논문은 전화 인터뷰·회의 등에서 발생하는 긴 형식 음성의 내용이 화자 식별에 활용될 수 있음을 지적하고, ASR‑TTS 파이프라인에 문맥 기반 패러프레이징을 삽입해 텍스트 스타일을 변형함으로써 내용 기반 공격을 방어하는 방법을 제안한다. 실험 결과, 짧은 발화만을 변형하는 기존 음성‑전용 익명화가 내용 공격에 취약한 반면, 슬라이딩 윈도우 방식의 공동 패러프레이징은 EER을 50%에 가깝게 끌어올려 프라이버시를 크게 향상시킨다.

상세 분석

이 연구는 기존 음성 익명화가 주로 음향 신호만을 변형해 화자 식별을 차단한다는 점을 비판한다. 긴 대화에서는 동일 화자의 여러 발화가 누적되어 어휘 선택, 구문 구조, 대화 흐름 등 언어적 특징이 강력한 바이오메트릭 신호가 된다. 저자들은 이러한 “내용 기반” 위협을 정량화하기 위해 Fisher 전화 대화 코퍼스를 활용했으며, ‘hard’ 설정(동일 화자지만 서로 다른 주제)에서 내용 공격 모델인 SLUAR를 적용해 EER이 발화 수가 늘어날수록 급격히 감소함을 확인했다.

방어 전략은 ASR‑TTS 파이프라인 중간 단계에 문맥‑의존 패러프레이징 모델을 삽입하는 것이다. 두 가지 패러프레이징 방식이 비교되었다. ① 발화 단위로 독립적으로 GPT‑4o‑mini를 이용한 단일 패러프레이징, ② 8~16개의 연속 발화를 하나의 윈도우로 묶어 Gemma‑3‑4B 혹은 GPT‑5로 공동 패러프레이징한다. 윈도우 기반 접근은 짧은 발화가 갖는 의미 불명확성을 보완하고, 대화 흐름 전체를 재구성함으로써 화자 고유의 스타일을 효과적으로 억제한다.

실험에서는 세 가지 시나리오를 설정했다. (1) 음성‑전용 익명화(ASR‑TTS만 적용), (2) 내용‑전용 익명화(패러프레이징만 적용, 원음 그대로 재생성), (3) 음성+내용 복합 익명화(패러프레이징 후 가짜 화자 음성 합성). 결과는 음성‑전용이 내용 공격에 매우 취약함을 보여주며, 내용‑전용은 음성 식별 모델에 의해 여전히 높은 EER을 보인다. 반면, 복합 익명화는 EER을 50%에 가깝게 만들고, UTMOS 점수와 DTW/greedy 유사도 지표를 통해 음성 자연스러움과 의미 보존도 크게 손상되지 않음을 확인했다.

또한, 대형 API 기반 모델(GPT‑5)과 로컬 오픈소스 모델(Gemma‑3‑4B)의 성능·프라이버시·비용 트레이드오프를 분석했다. GPT‑5는 높은 패러프레이징 품질을 제공하지만 데이터가 외부 서버로 전송되는 보안 위험이 있다. 반면 Gemma‑3‑4B는 온‑디바이스 실행이 가능해 프라이버시가 강화되지만, 일부 복잡한 문맥에서 품질 저하가 관찰되었다. 최종적으로 저자들은 “문맥 기반 공동 패러프레이징”이 긴 형식 오디오의 내용 기반 프라이버시 위협을 완화하는 실용적인 방안임을 입증하고, 실제 서비스에 적용할 때는 모델 선택과 프롬프트 설계가 핵심 요소임을 강조한다.