멀티모달·다언어 지시 수행 평가를 위한 과학 강연 기반 벤치마크 MCIF

초록

MCIF는 과학 강연을 원천으로 텍스트·음성·영상 3가지 모달리티와 영어·독일어·이탈리아어·중국어 4개 언어를 모두 포함한 인간 주석 기반 벤치마크이다. 짧은 입력과 긴 입력을 모두 제공하며, 인식·번역·질의응답·요약의 4대 매크로‑태스크를 13개 세부 태스크로 확장한다. 23개의 최신 LLM·Speech‑LLM·Vision‑LLM·MLLM을 평가한 결과, 현재 모델들은 특히 긴 컨텍스트 요약, 멀티모달 통합, 세밀한 질문 응답에서 큰 한계를 보이며 향후 연구 방향을 제시한다.

상세 분석

본 논문은 최근 급속히 발전하고 있는 멀티모달 대형 언어 모델(MLLM)의 실제 활용 가능성을 검증하기 위해, “Instruction‑Following”(IF)이라는 핵심 능력을 다차원적으로 측정할 수 있는 벤치마크를 설계했다. 기존 벤치마크가 갖는 세 가지 주요 결함—(1) 영어에 국한, (2) 단일 모달리티에 초점, (3) 짧은 입력 위주—을 동시에 해소하기 위해 저자들은 과학 분야의 발표 영상을 선택하였다. 학술 강연은 자연스럽게 텍스트(슬라이드·스크립트), 음성(발표자 음성), 영상(슬라이드·제스처·시각 자료)이라는 세 모달리티를 동시에 제공하므로, 실제 사용 시나리오에 가장 근접한 데이터 소스로 평가한다.

데이터 구축 과정은 크게 네 단계로 나뉜다. 첫째, ACL 2023 발표 영상 21편(≈2시간)과 추가 79편(≈8시간)을 수집해 총 10시간 분량을 확보했다. 둘째, 전문 언어학자들이 영어 원문 전사와 요약(논문 초록)을 인간 수준으로 작성했으며, 이를 독일어·이탈리아어·중국어로 번역해 4개 언어 간 완전 정렬을 달성했다. 셋째, 각 강연당 최소 10개의 QA 쌍을 16명의 전문가가 설계·검증했으며, 질문은 일반·전사·초록 기반으로 구분하고, 답변 가능 모달리티(음성·영상·양쪽·불가능)를 명시했다. 넷째, 짧은(≈16초)와 긴(전체) 컨텍스트를 모두 제공해 모델의 제한된 컨텍스트 윈도우와 장기 의존성 처리 능력을 동시에 평가한다.

태스크 설계는 ‘입력 모달리티 → 출력 모달리티 → 언어 → 컨텍스트 길이’라는 4차원 매트릭스로 정의된다. 인식(ASR, AV‑Recognition)부터 번역(MT, ST, AV‑Translation)까지, 질의응답(TQA, SQA, VQA, AV‑Q&A) 및 요약(TSUM, SSUM, VSUM, AV‑Summ)까지 총 13개의 세부 태스크가 존재한다. 각 태스크는 텍스트 프롬프트만을 사용하지만, 프롬프트는 고정형(Fix)과 자연어 변형형(Mix) 두 종류로 제공돼 프롬프트 다양성에 대한 모델의 강인성도 측정한다.

실험에서는 23개의 최신 모델(LLM 7종, Speech‑LLM 5종, Vision‑LLM 5종, MLLM 6종)을 평가했으며, 주요 발견은 다음과 같다. ① 긴 입력에 대한 요약 성능이 현저히 낮아, 현재 MLLM은 장기 의존성을 충분히 학습하지 못한다. ② 멀티모달 통합이 필요한 AV‑Recognition·AV‑Q&A 등에서는 단일 모달리티 모델보다 MLLM이 우세하지만, 여전히 음성·영상 동시 처리에서 오류가 빈번하다. ③ 교차언어 설정(예: 음성은 독일어, 프롬프트는 영어)에서는 번역·요약 정확도가 급격히 떨어져, 다언어·다모달 파이프라인의 연쇄 오류가 드러난다. ④ 프롬프트 변형(Mix)에도 모델 성능 차이가 크지 않아, 현재 모델들은 프롬프트 다양성에 크게 민감하지 않다는 점을 시사한다.

이러한 결과는 두 가지 중요한 시사점을 제공한다. 첫째, 장기 컨텍스트를 효과적으로 압축·요약할 수 있는 메커니즘(예: 계층적 어텐션, 외부 기억) 도입이 필요하다. 둘째, 모달리티 간 정렬 및 교차언어 매핑을 동시에 학습하는 멀티태스크 학습 전략이 아직 충분히 탐구되지 않았으며, 특히 음성‑영상 동시 인식에서의 시계열 정합성 문제가 남아 있다. 마지막으로, 인간 주석 기반 데이터가 제공하는 높은 품질과 다언어·다모달 정렬은 향후 벤치마크 설계에 있어 표준이 될 가능성을 보여준다.