멀티모달 칵테일 파티 인식 벤치마크

초록

본 논문은 CHiME‑9 챌린지를 위해 “Multi‑Modal Context‑Aware Recognition (MCoRec)” 과제를 정의하고, 8명까지 동시 대화가 이루어지는 360° 영상·오디오와 개인 스마트폰 영상·라벨 마이크를 결합한 새로운 데이터셋을 공개한다. 과제는 각 화자의 발화를 정확히 전사하고, 화자를 대화 그룹으로 클러스터링하는 두 가지 목표를 동시에 달성하는 것이다. 베이스라인으로 제시된 활성 화자 탐지, AV‑SR, 시간 기반 대화 클러스터링 파이프라인은 오디오‑전용 시스템이 100% 이상인 WER를 보이는 반면, 시각 정보를 활용하면 50% 수준으로 크게 개선됨을 실험을 통해 입증한다.

상세 분석

MCoRec 과제는 전통적인 음성 인식이 직면한 “칵테일 파티 문제”를 멀티모달 관점에서 재정의한다는 점에서 학술적·산업적 의미가 크다. 첫째, 데이터 수집 설계는 360° 파노라마 카메라와 각 참여자의 라펠 마이크·스마트폰 영상을 동시에 기록함으로써, 실제 회의실·거실 등 다양한 실내 환경에서 발생하는 음향 반향·배경 소음·시각적 가림 현상을 그대로 보존한다. 특히, 화자들이 고정된 그룹에 머무르면서도 4개의 동시 대화가 발생하도록 설계된 점은 기존 AMI·MISP·MMCSG와 달리 “동시 다중 대화” 상황을 자연스럽게 재현한다는 강점을 가진다.

두 번째로, 데이터 정합성을 위해 휘슬 신호를 이용한 정확한 시간 동기화와, 360° 영상의 듀얼피시쉐를 이퀴레크트라식으로 스티칭한 뒤 얼굴 트래킹 파이프라인을 적용한 점은 후속 연구자가 시각적 화자 위치 정보를 손쉽게 활용할 수 있게 만든다. 얼굴 바운딩 박스와 라펠 마이크 기반 전사 결과를 매핑함으로써, 화자‑발화 정밀 라벨링이 가능해졌다.

세 번째는 과제 정의 자체가 두 단계 목표를 결합한다는 점이다. 기존 연구는 보통 “화자 분리+전사” 혹은 “대화 클러스터링” 중 하나에 초점을 맞추었지만, MCoRec은 f(V,{Bi}) → ({Ŷi},Ĉ) 형태의 함수로, 시각·음향 입력을 바탕으로 화자별 전사와 대화 그룹 할당을 동시에 요구한다. 이는 평가 지표에서도 드러나듯, 개별 화자 WER과 대화 클러스터링 F1을 가중 평균한 JointError를 사용해 전사 정확도와 클러스터링 품질을 균형 있게 평가한다.

베이스라인 구현은 세 모듈로 구성된다. 활성 화자 탐지(ASD)는 CNN‑GRU 기반 멀티모달 피처를 융합해 프레임 수준의 화자 활동을 예측하고, 마이크로 평균 IoU 75.58%를 달성한다. AV‑SR 단계에서는 최신 AV‑HuBERT, Conformer, Muavic‑EN, Llama‑AVSR 등 4가지 모델을 비교했으며, 사전 학습 모델을 MCoRec 데이터에 104시간 규모로 증강·미세조정함으로써 WER를 55.36%→49.90%로 9.9% 상대 개선했다. 오류 분석에서는 삽입 오류가 주를 이루어, 다중 화자 상황에서 과잉 생성 현상이 두드러짐을 확인했다.

마지막으로 대화 클러스터링은 화자 간 시간적 겹침을 기반으로 점수를 산출하고, 0.3 임계값의 계층적 군집화를 적용했다. 개발 셋에서 F1 0.8153을 기록했으며, 이는 “동시 발화 → 다른 대화”라는 직관적 가정을 효과적으로 활용한 결과다. 전체 파이프라인의 Joint ASR‑Clustering Error Rate는 0.3548로, 아직 개선 여지가 크다는 점을 강조한다.

전반적으로 이 논문은 데이터셋 구축, 과제 정의, 평가 지표 설계, 베이스라인 구현까지 전 과정을 체계적으로 제시함으로써, 멀티모달 칵테일 파티 인식 연구의 새로운 기준점을 제공한다. 향후 연구는 화자 간 시각적 상호작용(시선·제스처) 통합, 더 정교한 화자 트래킹, 그리고 대화 흐름을 고려한 그래프 기반 클러스터링 등으로 확장될 수 있다.