LoVR: 장시간 비디오 검색을 위한 대규모 멀티모달 벤치마크

초록

LoVR는 467개의 장시간 비디오와 40,804개의 세밀한 클립을 포함한 새로운 영상‑텍스트 검색 벤치마크이다. 고품질 캡션을 자동 생성·품질 평가·인간 검증을 결합한 파이프라인을 제시하고, 전체 비디오 캡션을 의미론적으로 융합한다. 다양한 최신 임베딩 모델 실험을 통해 기존 벤치마크보다 훨씬 어려운 검색 과제를 제공한다.

상세 분석

본 논문은 장시간 비디오 검색 분야의 근본적인 데이터 부족 문제를 해결하고자 한다. 기존 MSR‑VTT, DiDeMo 등은 평균 길이가 1분 이하인 짧은 클립에 초점을 맞추어, 시간적 연속성 및 복합적 내러티브를 평가하기 어렵다. LoVR는 15분 이상(평균 26분) 길이의 비디오 467편을 선정하고, PySceneDetect 기반 시각 변화 감지를 통해 평균 17.9초 길이의 40,804개 클립으로 세분화한다. 이 과정에서 고·저 동적 비디오를 구분해 τ값을 조정함으로써 과도한 분할을 방지한다.

캡션 생성은 최신 Vision‑Language Model인 Qwen2.5‑VL‑Instruct를 활용해 초기 텍스트를 생성하고, EVQAScore로 자동 품질 점수를 부여한다. 점수가 사전 정의된 임계값 이하인 경우 인간 검증 라운드로 전이해 오류를 최소화한다. 이렇게 얻어진 클립 캡션을 클러스터링·요약하여 전체 비디오 캡션을 구성하고, 최종 인간 리뷰를 거쳐 1,075억 토큰 규모의 고품질 텍스트를 확보한다.

평가에서는 CLIP4Clip, CLIP2TV, VSE++ 등 최신 멀티모달 임베딩 모델을 LoVR에 적용했으며, 평균 정밀도·재현율이 기존 벤치마크 대비 10‑20% 낮게 나타났다. 이는 (1) 장시간 비디오의 시맨틱 희소성, (2) 긴 캡션이 요구하는 고수준 의미 정렬, (3) 계산 비용 증가로 인한 피처 압축 한계 등 세 가지 핵심 난이도를 드러낸다. 또한, 모델별 오류 분석을 통해 테마 오류·내용 누락·시간적 매칭 오류가 주요 실패 원인임을 확인한다.

LoVR는 데이터 규모·다양성·품질 면에서 기존 데이터셋을 뛰어넘으며, 자동‑인간 혼합 캡션 파이프라인이 비용 효율적인 고품질 라벨링 방법임을 입증한다. 그러나 현재는 영어 기반 캡션에 국한되고, 시각·음성·텍스트 다중 모달 통합이 제한적이며, 클립 경계가 완전한 의미 단위와 일치하지 않을 가능성이 있다. 향후 다언어 지원, 오디오·자막 동시 활용, 의미 기반 동적 클립 재구성 등이 연구 과제로 남는다.