설명 가능한 텍스트 비디오 검색을 위한 체인오브생각

초록

X‑CoT는 기존 임베딩 기반 텍스트‑비디오 검색의 한계를 극복하기 위해 대형 언어 모델(LLM)의 체인오브생각(Chain‑of‑Thought) 추론을 활용한다. 비디오에 구조화된 주석을 추가하고, 쌍별 비교를 통해 순위와 이유를 동시에 제공함으로써 검색 정확도를 높이고 결과 해석성을 확보한다.

상세 분석

본 논문은 텍스트‑비디오 검색 시스템이 주로 임베딩 모델에 의존해 코사인 유사도로 순위를 매기는 현 구조의 두 가지 근본적인 문제점을 지적한다. 첫째, 학습에 사용되는 텍스트‑비디오 쌍의 품질이 낮으면 임베딩 자체가 왜곡되어 검색 성능이 급격히 저하되는데, 이러한 저품질 데이터를 자동으로 탐지하거나 검증하기가 어렵다. 둘째, 코사인 유사도 점수는 “왜 이 비디오가 상위에 올랐는가”에 대한 인간 친화적 설명을 제공하지 못한다. 이러한 한계를 해소하고자 저자들은 세 가지 핵심 설계를 제안한다.

1. 구조화된 비디오 주석 확장: 기존 벤치마크에 대해 프레임‑레벨 캡션을 MLLM(Qwen2.5‑VL‑7B‑Captioner‑Relaxed)으로 생성하고, 객체·동작·장면 태그와 고수준 요약을 추출한다. 중복 제거, 불용어 필터링, 동사 추출 등 정제 파이프라인을 통해 의미적 풍부함과 일관성을 확보한다. 이는 LLM이 비디오 내용을 정확히 파악하도록 돕고, 원본 영상의 블러·왜곡 등 저품질 요소에 대한 보완 정보를 제공한다.

2. 쌍별 비교 기반 체인오브생각(CoT): 상위 K(보통 <25) 후보 비디오를 선택한 뒤, 각 쌍 (q, vi, vj)에 대해 LLM에게 “vi가 vj보다 더 관련성이 높은가”를 판단하도록 프롬프트한다. LLM은 구조화된 주석을 활용해 이유를 서술하고, 이진 선호를 출력한다. 이렇게 얻은 다수의 쌍별 판단을 Bradley‑Terry 모델에 최대우도 추정으로 통합해 각 비디오의 능력 점수 θ를 계산하고 최종 순위를 산출한다. 쌍별 판단은 “K개 중 최고를 직접 고르는” 작업보다 인지 부하가 낮아 성능 저하를 방지한다.

3. 플러그‑인 방식 및 모델 독립성: X‑CoT는 기존 임베딩 모델(예: CLIP‑ViT‑B/32, Qwen2‑VL, X‑Pool)과 별도로 동작한다. 임베딩 모델은 후보 풀 생성에만 사용되고, 최종 순위와 설명은 LLM에 의해 결정된다. 따라서 새로운 임베딩 백본을 도입하거나 기존 시스템에 그대로 적용할 수 있다.

실험 결과는 네 개의 대표적인 텍스트‑비디오 데이터셋(MSR‑VTT, MSVD, DiDeMo, LSMDC)에서 R@1, R@5, R@10 등 모든 주요 지표에서 기존 임베딩 기반 방법 대비 평균 2~6%p 상승을 보였다. 특히 CLIP‑ViT‑B/32 기반 시스템에 X‑CoT를 적용했을 때 MSVD에서 R@1이 5.6%p, X‑Pool에서 1.9%p 상승했다. Ablation study는 CoT 없이 직접 K‑way ranking을 시도하면 성능이 크게 떨어짐을 확인했으며, Bradley‑Terry 보정 없이도 일정 수준 향상이 가능하지만, 보정 단계가 최종 정확도를 미세하게 개선한다는 점을 보여준다.

설명 가능성 측면에서는, LLM이 제공한 이유 텍스트를 통해 사용자는 특정 비디오가 왜 선택됐는지, 혹은 왜 제외됐는지를 직관적으로 파악할 수 있다. 저자는 이를 활용해 임베딩 모델이 놓친 의미적 요소(예: “남자”라는 객체)나 데이터 라벨링 오류를 진단하고, 데이터 품질 개선 루프를 구축할 수 있음을 시연한다.

한계점으로는 LLM 자체의 용량과 도메인 적합성에 의존한다는 점이다. 매우 긴 영상이나 특수 도메인(의료, 과학 실험 등)에서는 현재 모델이 충분히 정교한 추론을 제공하지 못할 가능성이 있다. 또한 쌍별 비교 수가 K(K‑1)/2 로 증가함에 따라 비용이 선형적으로 늘어나므로, K 선택에 대한 실용적 트레이드오프가 필요하다.

전반적으로 X‑CoT는 임베딩 기반 검색의 효율성을 유지하면서, LLM 기반 추론을 통해 해석 가능하고 데이터 품질을 검증할 수 있는 새로운 패러다임을 제시한다.