대화 중심 영상 캡션의 새 지평 DiaDem

초록

DiaDem은 시청각 영상 캡션에서 대화 내용을 정확히 기술하도록 설계된 모델이다. 고품질 합성 데이터와 난이도 기반 2단계 GRPO 사후학습을 통해 발화 텍스트와 화자 지정 정확도를 크게 향상시켰으며, 이를 평가하기 위한 DiaDemBench 벤치마크를 새롭게 제시한다. 실험 결과, Gemini 시리즈를 능가하는 대화 기술력을 보이며 일반 캡션 성능도 경쟁력을 유지한다.

상세 분석

본 논문은 기존 시청각 영상 캡션 모델이 “누가 무엇을 말했는가”라는 화자‑발화 매핑을 제대로 수행하지 못한다는 근본적인 한계를 지적한다. 이를 해결하기 위해 저자들은 세 가지 핵심 기여를 제시한다. 첫째, 70K 규모의 고품질 대화 중심 캡션과 15K 규모의 일반 영상 캡션을 포함하는 합성 데이터셋을 구축하여 SFT( Supervised Fine‑Tuning) 단계에 활용한다. 이때 대화 데이터는 자동 음성인식(ASR) 결과와 시각적 화자 특징을 교차 검증해 오류를 최소화했으며, 화자 설명(예: “검은 재킷을 입은 남자”)을 명시적으로 포함시켜 모델이 시각적 단서와 텍스트를 동시에 학습하도록 설계하였다.

둘째, 난이도‑분할(two‑stage) GRPO(Gradual Reward‑Based Policy Optimization) 전략을 도입한다. 3K개의 인간 주석 대화 샘플을 난이도(발화 길이, 화자 수, 중첩 정도)별로 구분하고, 첫 번째 단계에서는 쉬운 샘플을 중심으로 기본 대화 인식 능력을 강화한다. 두 번째 단계에서는 어려운 샘플에 대해 보상을 가중치로 조정한 정책 최적화를 수행함으로써, 모델이 복잡한 다자간 대화와 겹치는 발화를 정확히 구분하도록 만든다.

셋째, DiaDemBench이라는 새로운 평가 프레임워크를 설계한다. 기존 캡션 벤치마크는 내용 완전성에 초점을 맞추었지만, DiaDemBench은 화자 지정 정확도(REF)와 발화 전사 정확도(ASR)를 별도로 측정한다. 평가 과정에서는 Gemini‑2.5‑Pro를 이용해 예측 캡션에서 대화 리스트를 추출하고, 정규화 레벤슈타인 거리 기반 유사도와 동적 프로그래밍을 결합한 최적 매칭 알고리즘을 적용한다. 특히, 연속된 동일 화자 발화를 자동 병합하는 어댑티브 머징 기법을 도입해, 인간 주석과 모델 출력 간의 세분화 차이를 완화한다.

실험 결과, DiaDem은 DiaDemBench에서 Gemini‑3‑Pro(63.6 %) 대비 6~8 포인트 높은 화자‑발화 매칭 점수를 기록했으며, 일반 시청각 캡션 벤치마크(예: ActivityNet‑Captions, YouCook2)에서도 기존 최첨단 모델과 동등하거나 약간 앞서는 성능을 보였다. 이는 대화 중심 사후학습이 전체 캡션 품질을 저해하지 않으면서도 특수한 대화 인식 능력을 크게 향상시킬 수 있음을 입증한다. 또한, 평가에 사용된 판단 모델(Judge) 자체가 멀티모달 정보를 활용하도록 설계돼, 화자 설명의 시각적 정합성까지 검증한다는 점이 주목할 만하다.

전반적으로 이 연구는 (1) 대화 중심 데이터 구축 방법, (2) 난이도 기반 단계적 강화 학습, (3) 정교한 평가 메트릭이라는 세 축을 통해 시청각 캡션 분야에서 대화 이해를 한 단계 끌어올렸다. 향후 멀티모달 LLM이 실제 대화 기반 애플리케이션(예: 영상 요약, 인터랙티브 스토리텔링)에서 활용될 때, 화자‑발화 정확도가 핵심 요구사항이 되므로 본 논문의 접근법과 벤치마크는 중요한 기준점이 될 것이다.