감정 모호성 해독 오디오언어 모델 테스트타임스케일링

초록

본 논문은 음성 기반 감정 인식에서 인간의 감정이 겹치고 모호한 상황을 다루기 위해, 대규모 오디오‑언어 모델(ALM)에 테스트‑타임 스케일링(TTS) 기법을 적용한 최초의 벤치마크를 제시한다. 8개의 최신 ALM과 5가지 TTS 전략을 IEMOCAP, MSP‑Podcast, CREMA‑D 세 데이터셋에 적용해 정규화된 감정 분포를 예측하고, Jensen‑Shannon divergence, Bhattacharyya coefficient, R² 등으로 평가한다. 실험 결과, TTS가 특히 고모호성 구간에서 모델의 예측 정확도를 크게 향상시키며, 모델 규모와 TTS 전략 간의 상호작용이 감정 인식 성능에 중요한 영향을 미침을 확인한다.

상세 분석

이 연구는 감정 인식 분야에서 기존의 ‘단일 라벨 분류’ 패러다임을 넘어, 다중 라벨의 확률 분포를 목표로 하는 새로운 문제 정의를 제시한다. 저자들은 각 음성 발화에 대해 M명의 인간 평가자가 제공한 라벨을 SoftLabel 함수를 통해 K‑차원 확률 벡터 pₜ로 변환하고, 이 벡터의 엔트로피를 감정 모호성의 정량적 지표로 활용한다. 이렇게 정의된 데이터셋 D={(xₜ, pₜ)}는 ALM이 직접 확률 분포를 출력하도록 설계된 fθ: x → ŷ∈Δᴷ⁻¹ 형태의 예측 모델과, 예측값과 실제 분포 사이의 Jensen‑Shannon divergence를 최소화하는 손실 ℓ(pₜ, ŷₜ)으로 학습한다.

테스트‑타임 스케일링(TTS) 부분에서는 다섯 가지 전략을 체계적으로 비교한다. 첫 번째는 CoT(Chain‑of‑Thought) 프롬프트를 이용해 모델이 감정 단서를 단계별로 추론하도록 유도하는 방식이다. 두 번째와 세 번째는 Beam Search 기반의 Best‑of‑N(BoN)과 Weighted‑BoN(W‑BoN)으로, B개의 후보 시퀀스를 생성하고 각각 로그 가능도 αᵦ를 스코어링한다. W‑BoN에서는 각 후보를 Dirichlet 분포의 평균으로 해석하고, 로그 가능도에 기반한 가중치 wᵦ를 적용해 최종 확률 분포를 가중합한다. 네 번째와 다섯 번째는 별도의 고성능 ALM을 검증자(verifier)로 활용하는 ALM‑verifier와 Weighted‑ALM‑verifier이다. 검증자는 각 후보에 대해 감정 일관성, 음성 품질, 라벨 일치 등을 평가하고, 최고 점수를 받은 후보를 선택하거나 점수 기반 가중합을 수행한다.

실험에 사용된 8개의 ALM은 Audio‑Flamingo 2, Qwen2.5‑Omni, Qwen2‑Audio‑Instruct, Ultravox‑Series(2버전), Gemini 2.5‑pro, Gemini 2.0‑flash, GPT‑4o 등이며, 공개·폐쇄 모델을 모두 포함한다. 각 모델은 동일한 프롬프트와 사전 처리 파이프라인을 적용받아 공정한 비교가 가능하도록 설계되었다. 데이터셋은 IEMOCAP(4,373 발화, 4 라벨), MSP‑Podcast(12,955 발화, 8 라벨), CREMA‑D(7,400 발화, 6 라벨)로, 각각 라벨 불일치 정도가 다르게 분포되어 있어 모호성 수준별 성능 분석이 가능하다.

주요 결과는 다음과 같다. (1) 기본 ALM만 사용했을 때는 전체 평균 JS divergence가 0.280.34 수준으로, 특히 고엔트로피(높은 모호성) 구간에서 성능이 급격히 저하된다. (2) CoT 프롬프트는 저모호성 구간에서 약 5%의 JS 감소 효과를 보였지만, 고모호성 구간에서는 제한적인 개선에 그친다. (3) BoN과 W‑BoN은 후보 다양성을 확보함으로써 고모호성 구간에서 JS를 0.070.09 절감하고, Bhattacharyya coefficient와 R²도 유의미하게 상승한다. 특히 W‑BoN은 Dirichlet 가중합을 통해 불확실성을 정량화함으로써, 모델이 “다중 감정”을 동시에 표현하도록 유도한다. (4) ALM‑verifier와 W‑ALM‑verifier는 가장 높은 상위‑B 후보를 선택하는 방식보다 평균 3~4% 더 낮은 JS를 기록했으며, 검증자 자체가 감정 인식에 특화된 경우(예: Gemini 2.5‑pro) 성능 격차가 크게 확대된다. (5) 모델 규모와 TTS 효과는 상호 보완적이다; 대형 모델(Qwen2.5‑Omni, GPT‑4o)은 기본 성능이 우수하지만, 소형 모델(Audio‑Flamingo 2)도 W‑BoN을 적용하면 대형 모델 수준에 근접한다.

이러한 결과는 테스트‑타임에 모델의 출력 공간을 확장하고, 후보 간의 확률적 가중합을 수행함으로써 “감정 모호성”이라는 본질적 불확실성을 효과적으로 다룰 수 있음을 시사한다. 또한, 검증자를 별도 ALM으로 두는 접근법은 멀티모달 이해와 감정 추론을 동시에 수행할 수 있는 새로운 파이프라인을 제시한다. 저자들은 향후 감정‑특화 검증자 학습, 베이지안 스케일링 파라미터 τ의 자동 튜닝, 그리고 실시간 대화 시스템에의 적용 가능성을 제안한다.