시간 의미 연쇄 사고를 활용한 무학습 비디오 객체 분할

초록

CoT‑RVS는 사전 학습된 멀티모달 대형 언어 모델의 제로샷 연쇄 사고(Chain‑of‑Thought) 능력을 이용해, 복잡하고 시간에 민감한 텍스트 쿼리에 대해 비디오 객체를 자동으로 키프레임을 선택하고 마스크를 생성하는 프레임워크이다. 학습 없이도 폐쇄형 모델과 호환되며, 온라인 스트리밍 비디오에서도 실시간으로 대상 객체를 재선정한다. 실험 결과, 기존 방법들을 크게 능가하는 정량·정성 성능을 보였다.

상세 분석

CoT‑RVS는 기존 비디오 객체 분할(VOS) 연구가 직면한 두 가지 핵심 한계를 해결한다. 첫째, 시간에 민감한 쿼리(예: “3점 슛을 성공한 선수를 찾아라”)에 대해 프레임 간 연관성을 파악하지 못한다는 점이다. 둘째, 대규모 멀티모달 언어 모델을 파인튜닝해야 하는 비용과 데이터 의존성이 높다는 점이다. 이를 위해 저자들은 ‘키프레임 선택’과 ‘마스크 추적’이라는 두 단계로 작업을 분리하고, 키프레임 선택 단계에서 MLLM을 연쇄 사고 프롬프트와 결합한다. 구체적으로, 비디오에서 일정 간격으로 샘플링한 후보 프레임을 MLLM에 입력하고, “이 프레임에 무엇이 보이는가?”, “쿼리와 관련된 객체가 있는가?”, “이 프레임이 키프레임으로 적합한가?”와 같은 일련의 질문을 자동 생성·응답하게 함으로써 시간‑의미 상관관계를 인간 수준의 논리 흐름으로 추론한다.

키프레임이 결정되면, 별도의 이미지 분할 모델(F_seg)이 해당 프레임에서 객체 마스크를 생성한다. 이후 비디오 프로세서(F_vid)가 마스크를 전체 프레임에 걸쳐 트래킹하여 일관된 마스크 시퀀스를 만든다. 중요한 점은 이 전체 파이프라인이 전혀 학습되지 않으며, GPT‑4o·Gemma‑3와 같은 폐쇄형 MLLM도 그대로 사용할 수 있다는 것이다. 또한, 온라인 스트리밍 상황을 위해 실시간으로 새로운 키프레임을 재선정하는 메커니즘을 제안했는데, 이는 비디오가 진행되는 도중에 쿼리와 더 잘 맞는 객체가 등장하면 즉시 업데이트한다는 점에서 기존 정적 처리 방식과 차별화된다.

실험에서는 MeV‑iS, Refer‑DAVIS‑17, ReVOS, ReasonVOS 등 다양한 데이터셋에 대해 명시적 쿼리와 암시적(복합) 쿼리 모두에서 기존 최첨단 방법들을 크게 앞섰다. 정량 지표(J&F, mIoU 등)와 정성적 시각화 모두에서 CoT‑RVS가 키프레임 선택의 정확성, 마스크 품질, 시간 민감도 처리 능력에서 우수함을 입증했다.

이 논문은 (1) 제로샷 연쇄 사고를 비디오 수준의 시간‑의미 추론에 적용한 최초 사례, (2) 학습‑프리 파이프라인으로 폐쇄형 대형 모델을 직접 활용할 수 있는 실용적 프레임워크, (3) 온라인 스트리밍 비디오에 대한 동적 키프레임 재선정 메커니즘을 제공한다는 점에서 의미가 크다. 향후 연구는 더 정교한 프레임 샘플링 전략, 멀티‑객체 동시 추론, 그리고 실시간 응답성을 위한 경량화된 MLLM 프롬프트 설계 등으로 확장될 수 있다.