오디오평가: 텍스트‑투‑오디오 자동 듀얼‑퍼스펙티브 다차원 평가

초록

**
AudioEval는 24개 텍스트‑투‑오디오 시스템이 생성한 4,200개 오디오와 126,000개의 전문가·비전문가 평가를 포함한 대규모 데이터셋이다. 즐거움·유용성·복잡성·품질·텍스트 정합성 5가지 차원을 동시에 측정하고, Qwen‑DisQA라는 텍스트‑오디오 공동 처리 모델을 제시해 인간 평점의 분포를 예측한다. 다양한 자동 평가 지표를 벤치마크하여 관점·차원별 성능 차이를 분석한다.

**

상세 분석

**
본 논문은 텍스트‑투‑오디오(TTA) 분야에서 평가 방법론이 크게 두 가지 문제에 직면해 있음을 지적한다. 첫째, 인간 청취 실험은 비용과 시간 면에서 비현실적이며, 평가자 집단(전문가 vs 비전문가)의 관점 차이를 반영하지 못한다. 둘째, 기존 자동 메트릭(FID, CLAP 등)은 음향의 전반적 유사도는 측정하지만, 인간이 느끼는 ‘즐거움’이나 ‘유용성’ 같은 주관적 차원을 포착하지 못한다. 이러한 격차를 메우기 위해 저자들은 세 가지 핵심 설계를 도입한다.

1. 듀얼‑퍼스펙티브 설계: 전문가(음향·음악 전공)와 비전문가(일반 청취자) 각각 3명씩, 총 6명의 평가자가 각 오디오를 5차원 10점 척도로 독립 평가한다. 시스템‑레벨과 클립‑레벨 모두에서 전문가와 비전문가 간 상관관계(r≈0.4~0.6)가 낮아, 두 집단이 서로 다른 평가 기준을 가지고 있음을 실증한다.

2. 다차원 평가 프레임워크: ‘콘텐츠 즐거움(CE)’, ‘콘텐츠 유용성(CU)’, ‘제작 복잡성(PC)’, ‘제작 품질(PQ)’, ‘텍스트 정합성(TA)’라는 다섯 축을 정의하고, 각 축별 상세 채점 가이드를 제공한다. 이는 기존 MOS와 달리 기술적 품질과 사용성, 감성적 만족도를 동시에 측정한다는 점에서 의미가 크다.

3. 대규모 프롬프트·시스템 다양성: 451개의 프롬프트는 AudioSet 온톨로지를 기반으로 인간·동물·자연·음악·기계 등 20여 개 하위 카테고리를 고르게 포함한다. 또한 24개의 TTA 시스템은 Auto‑Regressive, Diffusion, Latent‑Diffusion, Consistency/LCM 등 최신 모델 패러다임을 포괄하고, 파라미터 규모(0.5B~≥2B)와 발표 연도(2022‑2025)를 고르게 분포시켜 모델 최신성·규모와 품질 간 관계를 탐색한다.

자동 평가기 Benchmark에서는 CLAP, FAD, AudioMAE 기반 스코어링, 그리고 제안된 Qwen‑DisQA를 비교한다. Qwen‑DisQA는 Qwen2.5‑Omni를 기반으로 텍스트와 오디오를 동시에 인코딩하고, 각 차원별 정규분포 파라미터(평균·분산)를 출력해 rater disagreement를 모델링한다. 실험 결과, Qwen‑DisQA는 전문가·비전문가 모두에서 Pearson r≈0.78~0.92를 기록하며, 기존 메트릭 대비 인간 평점과의 상관성이 현저히 높다. 특히 텍스트 정합성(TA)에서는 CLAP보다 15% 이상 높은 예측 정확도를 보인다.

한계점으로는(1) 평가자가 영어에만 국한돼 다국어 TTA 시스템 평가에 제약이 있다, (2) 10점 척도와 정규분포 가정이 실제 평점 분포를 완전히 반영하지 않을 수 있다, (3) 오디오 길이가 평균 10초 이하로 제한돼 장시간 사운드스케이프에 대한 평가가 부족하다. 향후 연구에서는 다국어·다문화 청취자 모집, 비선형 평점 모델링, 그리고 길이·다이나믹스가 다양한 샘플을 포함한 확장 데이터셋 구축이 필요하다.

전반적으로 AudioEval는 TTA 평가에 필요한 ‘다중 관점·다중 차원·대규모 인간 라벨’이라는 세 축을 모두 만족시키는 최초의 공개 리소스로, 자동 평가 모델 개발 및 시스템 비교 연구에 중요한 기준점이 될 것이다.

**