멀티모달 대화 구조 이해를 위한 TV‑MMPC 데이터셋과 평가

초록

본 논문은 멀티모달 대화에서 화자·청자·부참여자와 발화 간 관계를 파악하는 새로운 과제와 TV‑MMPC라는 인간 주석 데이터셋을 제시한다. 주요 멀티모달 LLM을 제로샷으로 평가했으며, 인물 신원을 익명화하면 성능이 크게 저하되는 점을 발견했다. 또한 TVQA 350,842개 발화에 대한 사회언어학적 분석을 통해 여성 캐릭터가 청자·부참여자로 과다 표출되는 현상을 보고한다.

상세 분석

이 연구는 멀티모달 대화 구조 이해라는 비교적 미탐색 영역에 체계적인 프레임워크와 벤치마크를 제공한다는 점에서 의의가 크다. 먼저, 기존 대화 분석 이론(Goffman, Goodwin, Clark 등)을 기반으로 발화당 ‘화자(speaker)’, ‘청자(addressee)’, ‘부참여자(side‑participant)’ 그리고 ‘reply‑to’ 관계를 동시에 예측하도록 설계된 4가지 서브태스크를 정의한다. 이러한 정의는 청자와 부참여자를 이분법적으로 구분하고, 청자와 부참여자는 모두 대화 그룹에 ‘인정(ratified)’된 존재라는 점을 강조함으로써 기존의 화자‑청자 매핑을 확장한다.

데이터 구축 과정은 TVQA에서 200개의 클립(각 60–90초)을 무작위 추출하고, 얼굴 캡션·오디오 전사 등을 자동 전처리한 뒤, 저자 4명이 직접 주석을 다는 방식으로 진행되었다. 결과적으로 4,378개의 화자·reply‑to, 5,599개의 청자, 3,412개의 부참여자 라벨이 확보되었으며, 파일럿 단계와 메인 단계에서 평균 86% 이상의 F1 점수를 기록해 주석 품질이 충분히 신뢰할 만함을 보여준다.

모델 평가에서는 Vision‑Language 모델(LLaMA‑4‑Scout, GPT‑4.1‑mini, o4‑mini, Gemini 2.0‑Flash)과 Audio‑Visual LLM(Qwen 2.5‑Omni, Reka‑Flash, Gemini 2.0‑Flash) 6종을 제로샷으로 테스트했다. 전반적으로 멀티모달 LLM이 휴리스틱 베이스라인(Whisper + pyannote)보다 우수했으나, 최고 성능을 보인 Gemini 2.0‑Flash조차도 인물 이름을 ‘Anonymous’로 대체했을 때 화자·청자 인식 정확도가 10~15%포인트 급락했다. 이는 현재 모델이 시각적·청각적 단서보다 텍스트(인물 이름)에 과도하게 의존한다는 한계를 시사한다.

사회언어학적 분석에서는 TVQA 전체 350,842개 발화를 대상으로 성별·역할 분포를 조사했다. 여성 캐릭터는 전체 발화량 대비 비슷한 비율로 대화를 시작하지만, 청자·부참여자로 지정되는 비율이 남성보다 1.2배 높았다. 또한 부참여자가 존재하는 상황에서는 대화의 레지스터가 ‘개인적(personal)’에서 ‘사회적(social)’으로 전이되는 경향이 관찰되었다. 이는 미디어 속 권력·성 역할 재현을 정량적으로 드러내는 중요한 발견이다.

전체적으로 이 논문은 멀티모달 대화 구조 파악을 위한 데이터·태스크·평가를 한 번에 제공함으로써, 향후 대화형 AI가 대화 흐름을 이해하고 사회적 맥락을 반영하는 데 필요한 기반을 마련한다. 다만, 현재 모델이 인물 신원에 과도 의존한다는 점과, 데이터가 TV 시리즈에 국한돼 일반화 가능성이 제한적이라는 점은 향후 연구에서 보완되어야 할 과제로 남는다.