음성 모델의 상호작용 프라이버시 평가를 위한 VoxPrivacy 벤치마크

초록

VoxPrivacy는 다중 사용자 환경에서 음성 언어 모델이 화자별 비밀 정보를 적절히 보호하도록 평가하는 최초의 벤치마크이다. 직접 비밀 명령, 화자 검증 비밀, 그리고 사전 지시 없이 프라이버시를 스스로 판단·보호하는 3단계 과제로 구성되며, 32시간 규모의 7,107개 이중언어(영·중) 샘플과 실제 음성으로 검증된 Real‑VoxPrivacy를 포함한다. 9개 SLM을 실험한 결과, 오픈소스 모델은 무작위 수준(≈50%)에 머물고, 폐쇄형 모델도 사전 지시 없는 프라이버시 보호에서 한계가 드러났다. 4,000시간 데이터로 파인튜닝한 모델은 프라이버시 유지 능력을 크게 향상시켰으며, 데이터·코드·모델이 모두 공개돼 향후 연구에 활용 가능하다.

상세 분석

본 논문은 기존 음성 언어 모델(SLM) 평가 체계가 화자 정체성을 무시하고, 전역적인 민감 정보(예: 비밀번호)만을 대상으로 하는 점을 비판한다. 이러한 한계를 극복하기 위해 제안된 VoxPrivacy는 “상호작용 프라이버시”(interactional privacy)라는 개념을 도입한다. 이는 동일 모델이 여러 사용자가 공유하는 스마트 홈 등에서, 한 사용자가 비밀로 공유한 정보를 다른 사용자가 추후 질의했을 때 누설되지 않도록 하는 능력을 의미한다. 벤치마크는 세 가지 난이도 티어로 설계되었다. 티어 1은 “직접 비밀 명령”(Do not share this)을 따르는지 평가하고, 티어 2는 화자 음성 자체를 인증 수단으로 활용해 원 발화자에게만 정보를 공개하도록 요구한다. 티어 3은 사전 명령 없이도 발화 내용과 상황을 종합해 자동으로 프라이버시를 보호해야 한다는 가장 높은 수준의 과제이다. 데이터는 텍스트‑to‑음성 파이프라인을 통해 4단계(텍스트 생성 → 전처리 → 대화 구조화 → 음성 합성)로 구축되었으며, 7,107개 샘플(32시간)과 18명의 실제 화자를 이용한 Real‑VoxPrivacy 검증 세트를 포함한다. 평가에서는 9개 최신 SLM(오픈소스 7종, 폐쇄형 2종)을 사용했으며, 정량 지표는 정확도, 정밀도, 재현율, F1을 LLM 및 인간 판정기로 측정했다. 결과는 오픈소스 모델이 티어 2·3에서 무작위 수준(≈50%)에 머물고, 폐쇄형 모델도 티어 3에서 70% 이하의 정확도를 보이며 현존 SLM이 화자 기반 프라이버시 보호에 근본적인 한계가 있음을 보여준다. 추가 실험으로, 대규모(4,000시간) 다중화자·다중언어 데이터로 파인튜닝한 모델은 티어 2·3에서 정확도를 15~20%p 상승시켰으며, 대화 흐름 유지와 프라이버시 보호 간의 트레이드오프가 최소화됨을 확인했다. 논문은 또한 실패 원인을 “대화 컨텍스트 유지 부족”으로 규명하고, 화자 임베딩과 비밀 정책 학습을 결합한 새로운 아키텍처 방향을 제시한다. 마지막으로 데이터·코드·파인튜닝 모델을 공개함으로써, 향후 연구자들이 상호작용 프라이버시를 지속적으로 개선할 수 있는 기반을 마련했다.