텍스트투비디오에서 객체 상태 변화를 평가하는 OSCBench

초록

본 논문은 텍스트‑투‑비디오(T2V) 모델이 명령어에 명시된 객체 상태 변화를 얼마나 정확히 구현하는지를 측정하기 위한 OSCBench 벤치마크를 제안한다. 요리 교육 데이터를 기반으로 일반, 새로운, 복합 시나리오를 구성하고, 1,120개의 프롬프트를 제공한다. 인간 평가와 멀티모달 대형 언어 모델(MLLM) 기반 자동 평가를 결합해 의미 적합성, 객체 상태 변화 정확도, 장면 정렬, 시각적 품질을 다각도로 측정한다. 실험 결과, 최신 오픈소스·상용 T2V 모델들은 의미 일치는 높지만 객체 상태 변화 구현에서는 일관성·정확성이 크게 부족함을 확인한다.

상세 분석

OSCBench는 텍스트‑투‑비디오 생성 모델이 “객체 상태 변화”(Object State Change, OSC)를 이해하고 시각적으로 구현하는 능력을 정밀하게 진단하도록 설계되었다. 기존 벤치마크가 시각적 품질, 텍스트‑비디오 정렬, 물리적 타당성 등에 초점을 맞춘 반면, OSC는 행동 의미와 객체 변형 사이의 인과 관계를 요구한다는 점에서 훨씬 더 높은 수준의 언어‑시각 연계 능력을 테스트한다.

데이터 소스로는 HowToChange 데이터셋을 활용했으며, 여기에는 20개의 세분화된 행동 요소와 134개의 객체 요소가 포함돼 있다. 저자들은 GPT‑5.2와 Gemini‑3를 이용해 이들을 9개의 행동 카테고리와 8개의 객체 대카테고리(28개의 세부 카테고리)로 추상화하고, 인간 전문가가 검증·수정하는 인간‑인‑루프 과정을 거쳐 편향을 최소화했다.

시나리오 설계는 세 가지 난이도 축을 따른다. ① Regular 시나리오는 흔히 관찰되는 행동‑객체 쌍을 조합해 108개의 상황을 만든다. ② Novel 시나리오는 흔치 않은 조합(예: 베리 껍질 벗기기)을 선택해 모델이 단순 메모리 기반이 아닌 의미 추론을 해야 함을 검증한다. ③ Compositional 시나리오는 두 개 이상의 행동을 순차적으로 적용해(예: 껍질 벗기고 슬라이스) 시간에 걸친 상태 변화를 지속적으로 유지할 수 있는지를 평가한다. 각 시나리오는 8개의 구체적 행동‑객체 조합을 포함해 총 1,120개의 프롬프트를 제공한다.

평가 방법은 인간 사용자 연구와 MLLM 기반 자동 평가를 병행한다. 인간 평가는 의미 적합성, OSC 정확도, 장면 정렬, 시각적 품질 네 가지 차원을 5점 척도로 평가한다. 자동 평가는 최신 멀티모달 LLM을 체인‑오브‑생각(Chain‑of‑Thought) 프롬프트와 함께 사용해, 각 차원별 근거를 추출하고 점수를 산출한다. 특히 OSC 판단에서는 “초기 상태 → 중간 상태 → 최종 상태”를 단계별로 검증하도록 설계돼, 모델이 시간적 일관성을 유지했는지 정량화한다. 인간 평가와 자동 평가 간 상관관계 분석을 통해 자동 평가지표의 신뢰성을 검증하였다.

실험 결과는 흥미롭다. 모든 모델이 의미 적합성(예: “레몬을 자른다”)에서는 80 % 이상 높은 점수를 받았지만, OSC 정확도는 평균 35 %에 불과했다. 특히 Novel 시나리오에서는 20 % 이하, Compositional 시나리오에서는 15 % 수준으로 급격히 떨어졌다. 이는 모델이 흔한 패턴을 학습했지만, 행동 의미를 일반화하거나 복합 행동을 연속적으로 적용하는 데 한계가 있음을 보여준다. 또한, 인간 평가와 MLLM 자동 평가 간의 피어슨 상관계수는 0.78로, 자동 평가가 인간 판단을 충분히 대체할 수 있음을 시사한다.

이러한 결과는 T2V 연구에서 OSC가 아직 해결되지 않은 핵심 병목임을 강조한다. 모델이 물리적 타당성이나 시각적 흐름을 넘어, 행동에 따른 객체의 구체적 변화를 정확히 시뮬레이션하려면, 행동‑객체 관계를 명시적으로 학습하고, 시간적 상태 전이를 추적할 수 있는 구조적 메커니즘이 필요하다. OSCBench는 이러한 연구 방향을 제시하는 진단 도구로서, 향후 상태‑인식 비디오 생성 모델 개발에 중요한 기준점이 될 것이다.