음성 멀티챌린지: 자연 대화를 위한 다중 턴 평가 벤치마크

초록

Audio MultiChallenge는 실제 인간의 자연스러운 발화와 중간 수정, 배경음 등을 포함한 452개의 다중 턴 대화를 제공하여, 엔드‑투‑엔드 음성 대화 시스템의 추론 기억, 명령 유지, 자기 일관성, 그리고 새롭게 정의한 음성 편집 능력을 종합적으로 평가한다. 최신 상용·오픈소스 모델조차 55% 이하의 통과율에 머물며, 특히 음성 편집과 오디오‑큐 추론에서 큰 약점을 보인다.

상세 분석

이 논문은 기존 텍스트‑기반 MultiChallenge를 음성 영역으로 확장하면서, 음성 특유의 연속성 및 비언어적 신호를 평가에 포함시킨 점이 가장 큰 혁신이다. 네 가지 평가 축 중 ‘Voice Editing’은 텍스트에서는 백스페이스로 해결되는 오류를 음성에서는 실시간으로 청취자가 인식해야 하는 상황을 모델에 요구한다는 점에서 독창적이다. 또한 ‘Audio‑Cue Inference Memory’는 배경 소음, 억양, 감정 등 파라링구스틱 정보를 기억·활용하도록 설계돼, 기존 ASR‑LLM‑TTS 파이프라인이 놓치기 쉬운 정보를 테스트한다.

데이터 구축 방식도 주목할 만하다. 자동화된 멀티‑에이전트 시뮬레이션으로 실패 패턴을 탐색한 뒤, 인간 라벨러가 고수준 청사진을 바탕으로 실제 음성 녹음을 수행한다는 하이브리드 접근을 채택했다. 이 과정은 대규모 다양성을 확보하면서도 자연스러운 불완전성을 유지한다는 장점을 제공한다. 48 kHz, 15시간 분량의 원시 오디오를 그대로 사용함으로써, 억양·속도·방언·배경 잡음 등 현실적인 변수를 그대로 평가에 반영한다.

평가 메트릭은 1,712개의 세분화된 루브릭을 활용해 ‘통과’ 여부를 이진화하는 대신, 각 세부 요구사항별 성공 여부를 기록한다. LLM‑as‑judge 방식으로 인간 평가와 93 % 일치율을 달성했으며, 이는 대규모 자동 평가의 신뢰성을 크게 높인다.

실험 결과, 가장 앞선 상용 모델인 Gemini 3 Pro Preview(Thinking)조차 전체 평균 54.65 %의 통과율에 머물렀다. 특히 Voice Editing 축에서 25.9 % 이하, Audio‑Cue Memory에서 36.5 % 포인트 차이로 낮은 점수를 기록했다. Self Coherence는 대화 길이가 늘어날수록 급격히 감소했으며, 3~5분 구간에서는 20 % 수준으로 떨어졌다. 이는 현재 E2E 음성 모델이 장기 컨텍스트와 실시간 편집 정보를 효과적으로 관리하지 못함을 시사한다.

한계점으로는 아직 영어에 국한된 데이터와, 인간 라벨러가 설계한 청사진에 의존하는 부분이 있다. 다국어·다문화 확장 및 보다 자동화된 루브릭 생성이 향후 과제로 남는다. 전반적으로 이 벤치마크는 음성‑네이티브 대화 시스템의 실제 사용성을 측정할 수 있는 최초의 포괄적 테스트베드이며, 향후 모델 설계·학습에 중요한 방향성을 제공한다.