실제 웹 기반 영상 검색과 순간 위치 파악을 위한 새로운 벤치마크와 에이전트 프레임워크

초록

본 논문은 기존의 폐쇄형 짧은 클립 중심 영상 검색 벤치마크가 실제 사용자들의 모호하고 다차원적인 기억을 반영하지 못한다는 문제를 지적한다. 이를 해결하기 위해 20개 카테고리·4개 길이 구간에 걸쳐 1,440개의 실제 웹 영상 샘플을 수집하고, 전역 인상, 핵심 순간, 시간적 맥락, 청각 기억이라는 4단계 계층적 설명을 제공하는 RVMS‑Bench를 제안한다. 또한 인간의 “Recall‑Search‑Verify” 과정을 모방한 추론 기반 에이전트 RACLO를 설계해, 모호한 기억을 구체적인 검색어로 전환하고, 후보 영상을 검증·순간을 정확히 로컬라이징한다. 실험 결과 최신 멀티모달 대형 모델(Multi‑Modal LLM)조차도 이 실세계 검색·위치 파악 과제에서 충분히 성능을 발휘하지 못함을 보여준다.

상세 분석

RVMS‑Bench는 기존 데이터셋이 갖는 두 가지 근본적인 한계를 극복하도록 설계되었다. 첫째, 폐쇄형 풀(pool)에서 짧은 클립을 대상으로 하는 단일 차원 매칭을 넘어, 실제 웹에 존재하는 수분~수시간 길이의 영상들을 대상으로 한다. 이를 위해 저자들은 유튜브에서 20개의 주제를 균등하게 추출하고, 3분 미만, 3‑10분, 10‑30분, 30‑60분 네 개의 구간으로 균등 배분하였다. 이렇게 함으로써 모델이 장기 시계열 추론과 대용량 후보 집합에서의 검색 능력을 평가할 수 있다. 둘째, 인간이 기억하는 영상은 시각적 인상, 특정 장면, 시간 흐름, 배경음악·효과음 등 네 가지 요소가 복합적으로 얽혀 있다. 논문은 이를 ‘전역 인상(Global Impression)’, ‘핵심 순간(Key Moment)’, ‘시간적 맥락(Temporal Context)’, ‘청각 기억(Auditory Memory)’이라는 계층적 서술 체계로 정형화하였다. 각 요소는 모델 기반 자동 생성 단계에서 Gemini 3 Pro를 활용해 초안이 만들어지고, 이후 10명의 전문가가 인간‑인‑루프 검증을 통해 사실 오류와 일관성 문제를 제거한다. 이 과정은 데이터의 신뢰성을 크게 높이며, 기존 데이터셋에서 흔히 발생하는 ‘허위 생성(hallucination)’ 문제를 최소화한다.

RACLO 프레임워크는 인간의 기억 회상‑검색‑검증 과정을 추상화한 에이전트이다. 핵심은 ‘추론(abductive reasoning)’을 이용해 모호한 기억 조각을 가능한 영상 타이틀·키워드·메타데이터로 역추론하는 단계이다. 이를 위해 시스템 프롬프트에 체인‑오브‑생각(Chain‑of‑Thought) 지시를 삽입하고, ReAct 기반 ‘Observe‑Think‑Act’ 루프를 통해 검색 엔진에 질의하고, 반환된 URL을 다운로드한다. 후보 영상이 원본과 동일하지 않을 경우(재업로드·편집 등)에는 64개의 프레임과 전체 오디오를 추출해 멀티모달 LLM에 입력, 전역 인상과의 의미 일치를 평가한다. 일치가 확인되면 Gemini 2.5 Pro를 이용해 2차 검증을 수행해 신뢰도를 높인다. 동시에 ‘핵심 순간·시간적 맥락·청각 기억’ 정보를 모델에 제공해 프레임‑레벨 로컬라이제이션을 수행한다. 이때 모델은 오디오‑비주얼 동기화 신호와 시각적 변화를 교차 검증해 가장 일치하는 프레임 인덱스를 예측하고, 최종적으로 예측 프레임과 실제 프레임을 다시 한 번 검증한다.

실험에서는 최신 MLLM(예: Gemini 3 Pro, GPT‑4V 등)들을 RVMS‑Bench의 9가지 쿼리 유형(단일·이중·삼중·전체 조합)에서 평가하였다. 결과는 전반적으로 낮은 성공률을 보였으며, 특히 청각 기억이 포함된 쿼리와 긴 영상(30‑60분)에서 성능이 급격히 하락했다. 이는 현재 모델이 멀티모달 장기 기억과 복합적인 시간·청각 정보를 효과적으로 통합하지 못한다는 점을 시사한다. 또한, 기존 ID‑기반 매칭 방식이 재업로드·편집된 영상에 취약함을 확인하고, 논문에서 제안한 ‘콘텐츠 기반 검증 + 다중 모델 합의’ 절차가 보다 현실적인 평가 방식을 제공함을 입증하였다.

이 논문은 실세계 영상 검색 연구에 두 가지 중요한 기여를 한다. 첫째, 실제 웹 환경을 반영한 대규모·다차원 벤치마크인 RVMS‑Bench를 공개함으로써 향후 연구가 보다 현실적인 시나리오에서 모델을 평가·개선할 수 있게 한다. 둘째, 인간 인지 과정을 모방한 RACLO 에이전트를 통해 추론 기반 검색·검증 파이프라인을 제시하고, 이를 통해 기존 모델의 한계를 구체적으로 드러내며 향후 연구 방향을 제시한다.