인간과 같은 대화 시스템을 위한 HumDial 챌린지: 감정 지능과 전이중 상호작용 벤치마크

초록

ICASSP 2026에서 개최된 HumDial 챌린지는 대규모 실제 대화 데이터를 기반으로 감정 지능과 전이중(Full‑Duplex) 상호작용 두 축을 평가한다. 감정 트래젝터리 추적·이유 추론·공감 생성 과제를 포함한 트랙 I와, 실시간 청취·발화·중단·거부를 동시에 판단하는 트랙 II로 구성되며, 자동·인간 혼합 평가지표를 제시한다. 결과는 최신 Audio‑LLM이 감정 논리 분석에서는 높은 성능을 보이나, 음성 공감 생성 및 배경 잡음 거부에서는 여전히 한계가 있음을 보여준다.

상세 분석

본 논문은 LLM 시대에 맞춰 인간‑기계 대화의 ‘인간‑같은’ 특성을 정량화하려는 최초의 대규모 챌린지인 HumDial을 제안한다. 데이터 구축은 Gemini 2.5‑pro와 DeepSeek을 활용한 스크립트 자동 생성 후, 전문 배우가 실제 음성으로 녹음하는 하이브리드 파이프라인을 채택해, 기존 벤치마크가 갖는 인공적 오버랩이나 단일 턴 제한을 극복한다. 감정 지능 트랙은 세 가지 세부 과제(T1 감정 트래젝터리 탐지, T2 감정 원인 추론, T3 공감 생성)를 통해 장기적 감정 흐름을 추적하고, 텍스트·음성 양쪽에서 공감 수준을 평가한다. 자동 평가는 Qwen3‑Omni‑30B가 각 과제별 점수를 산출하고, 인간 평가자는 텍스트 공감 적합성 및 음성 자연성을 20명(중/영어 각각 10명)에게 5점 척도로 매긴다. 최종 점수는 0.2·T1 + 0.2·T2 + 0.1·텍스트 + 0.25·감정 + 0.25·자연성으로 가중합한다.

전이중 상호작용 트랙은 ‘중단(Interruption)’과 ‘거부(Rejection)’ 두 시나리오를 정의하고, 각각 응답률·지연, 거부율·조기 중단률을 측정한다. 평가 환경은 Docker + RTX A6000 GPU로 표준화했으며, 최종 점수는 0.4·Interruption + 0.4·Rejection + 0.2·Delay로 구성한다.

성능 결과를 보면, 감정 트랙에서는 NJU‑TencentHY와 BJTU Unisound가 4.9 점대의 높은 점수를 기록했으며, 특히 감정 트래젝터리와 이유 추론에서 거의 만점에 근접했다. 그러나 공감 생성(T3)에서는 텍스트·음성 모두 평균 4.0 점 이하로, LLM이 논리적 추론은 뛰어나지만 실제 감정적 표현을 음성으로 자연스럽게 구현하는 데 한계가 있음을 드러냈다. 전이중 트랙에서는 Cookie asr가 인터럽션 성공률과 지연을 균형 있게 만족시켜 1위에 올랐으며, Badcat이 가장 높은 인터럽션 성공률을 보였다. 반면 거부 시나리오에서는 전반적으로 낮은 점수가 나타났으며, 특히 배경 잡음이나 타인 발화에 대한 무응답(거부) 능력이 아직 미흡함을 확인했다.

이러한 결과는 현재 Audio‑LLM이 ‘이해‑생성’ 파이프라인을 통합해도, 실시간 대화 흐름 제어와 감정적 음성 표현에서는 추가 연구가 필요함을 시사한다. 특히, 멀티모달 정서 인식·생성, 대화 중단 시점 예측, 그리고 비지시적 잡음 거부 메커니즘이 향후 핵심 과제로 부각된다. 논문은 또한 HumDial 데이터셋을 공개하고, 향후 상용·오픈소스 모델과의 비교 연구를 예고함으로써, 커뮤니티가 지속적으로 벤치마크를 확장하고 개선할 기반을 제공한다.