현실 음성 에이전트를 위한 ASR 진단 벤치마크 WildASR

**1. 연구 배경 및 필요성** 자동음성인식(ASR) 기술은 최근 수년간 대규모 자기지도 학습과 멀티언어 데이터 확장으로 인간 수준의 정확도(WER < 5 %)를 달성했다. 그러나 이러한 성과는 주로 정제된 읽기 음성 데이터셋(FLEURS, LibriSpeech 등)에서 측정된 것이며, 실제 음성 에이전트가 마주하는 복잡하고 잡음이 많은 환경을 반영하지 못한다. 기존 벤치마크는 평균 WER만을 보고해 어떤 구체적 요인이 오류를 유발하는지 파악하기 어렵고, 배포 전 위험 평가가 부재한 상황이다. **2. WildASR 벤치마크 설계** 본 논문은 이러한 진단 격차를 메우기 위해 ‘환경적 열화’, ‘인구학적 변이’, ‘언어적 다양성’이라는 세 축을 정의하고, 각 축을 세부 하위 카테고리로 구분하였다. - **환경적 열화**: reverberation(RT60 = 0.4/0.8/1.6 s), far‑field(거리 = 4/8/16 m), 전화 코덱(GSM, G.711 µ‑law), 잡음 간격(3~5개의 0.2~0.4 s 삽입), 클리핑(상위 40 % 진폭 평탄화). - **인구학적 변이**: 아동(3‑5세), 노인(50 세 이상), 비원어민 억양(다양한 영어·중국어 억양). - **언어적 다양성**: 짧은 발화(≤ 6단어/문자), 불완전 오디오(VAD·네트워크 지연에 의한 절단), 코드스위칭(EN+ZH, EN+JA 등). 소스 오디오는 모두 실제 인간 음성(FLEURS 테스트와 MagicData 대화 데이터)에서 추출했으며, 4개 언어(영어, 중국어, 일본어, 한국어)로 구성된다. 각 하위 카테고리는 데이터 수집·화자 필터링·품질 검증·정규화·제어된 음향 변형·수동 검증 단계(DC, SF, QF, NR, AA, MT, MV)를 거쳐 일관된 라벨링을 보장한다. **3. 실험 설정** 7개의 최신 ASR 시스템(대형 상용 클라우드 서비스 3종, Whisper‑large‑v2, Wav2Vec2‑large, Conformer‑based 모델 등)을 동일 프로토콜로 평가했다. 평가 지표는 영어는 WER, CJK 언어는 CER이며, 추가로 환각 오류율(HER)과 P90 Elbow 포인트를 측정했다. **4. 주요 결과** - **전반적 성능 저하**: 깨끗한 FLEURS 테스트 평균 5.7 %와 비교해, WildASR의 OOD 조건에서는 WER/CER이 2배~10배 상승했다. 특히 far‑field와 클리핑은 모든 언어에서 급격히 오류를 증가시켰다. - **축·언어 간 불균형**: 예를 들어, 중국어 모델은 전화 코덱에서 30 % 이상 WER 급등했지만, 한국어 모델은 동일 조건에서 12 % 수준에 머물렀다. 아동 음성에서는 모든 모델이 20 % 이상의 오류를 보이며, 노인 음성에서도 비슷한 경향이 나타났다. - **모델 전이성 부재**: 한 모델이 환경적 열화에 강인했더라도 인구학적 변이에서는 열등했으며, 반대로 언어적 다양성(코드스위칭)에서는 전혀 다른 오류 패턴을 보였다. 이는 단일 “강건성” 모델이 현재는 실현 불가능함을 의미한다. - **환각 현상**: 잡음 간격과 불완전 오디오에서 모델이 실제 존재하지 않는 단어를 삽입하는 경우가 빈번했다. HER은 최고 18 %에 달했으며, 이는 음성 기반 명령 실행 시 심각한 안전 위험을 초래한다. **5. 배포 의사결정 지원 도구** - **P90 Elbow 분석**: 각 축별 왜곡 강도에 따른 오류 곡선을 그려, 90 % 누적 오류가 급격히 상승하는 ‘엘보’ 지점을 식별한다. 이를 통해 서비스 수준 협약(SLA)에서 허용 가능한 품질 한계를 설정할 수 있다. - **프롬프트 민감도 프로파일**: 동일 입력에 대해 다양한 전처리(노멀라이즈, 노이즈 억제, VAD 파라미터)와 인코딩 옵션을 적용해 오류 변동성을 시각화한다. 파라미터 튜닝 시 가장 민감한 단계가 어디인지를 직관적으로 파악한다. - **환각 오류율(HER)**: 비정상적 구간(잡음 간격, 절단)에서 발생한 허위 전사의 비율을 정량화한다. HER이 높은 모델은 안전‑critical 애플리케이션에 부적합하다는 판단 근거가 된다. **6. 논의 및 향후 연구** 본 연구는 “인간 수준”이라는 기존 평가지표가 실제 서비스 환경을 충분히 반영하지 못한다는 점을 실증한다. WildASR는 다축·다언어·실제 음성 기반이라는 세 가지 강점을 통해 ASR 시스템의 약점을 체계적으로 드러낸다. 향후 연구는 (1) 더 많은 언어와 방언을 포함해 벤치마크를 확장, (2) 강건 학습 기법(데이터 증강, 도메인 어댑테이션, 멀티태스크)과 WildASR를 이용한 정량적 비교, (3) 실시간 스트리밍 시나리오에서의 VAD·버퍼링 오류를 포함한 추가 요인 도입 등을 목표로 할 수 있다. **7. 결론** WildASR는 실제 음성 에이전트 배포 전 ASR 신뢰성을 진단할 수 있는 최초의 다국어, 다축, 실음성 기반 벤치마크이다. 평가 결과는 현재 상용·오픈소스 모델이 특정 OOD 상황에서 심각히 취약함을 보여주며, 특히 환각 오류는 안전 위험을 가중시킨다. 제시된 분석 도구는 엔지니어가 모델 선택·튜닝·배포 결정을 데이터 기반으로 내릴 수 있게 돕는다. 따라서 WildASR는 차세대 음성 인터페이스의 품질 보증과 위험 관리에 필수적인 인프라로 자리매김할 전망이다.