물리 현실성 평가를 위한 PhyWorldBench

초록

PhyWorldBench는 텍스트‑투‑비디오 모델의 물리 법칙 준수 능력을 체계적으로 측정하기 위해 10개의 물리 대분류·5개의 하위 카테고리·7개의 시나리오·3가지 프롬프트 변형으로 구성된 1 050개의 프롬프트를 제공한다. 인간 평가와 멀티모달 LLM을 활용한 제로샷 평가를 병행해 12개 최신 모델(오픈소스·프로프라이어터리 각각 6개) 12 600개의 영상을 테스트했으며, 전반적인 성공률은 26 % 수준에 머물렀다. 특히 복합 동역학·유체·인간·동물 움직임 등 고차원 물리 현장에서 큰 오류가 드러났으며, 프롬프트 상세화가 물리 일관성 향상에 기여한다는 실증적 가이드라인을 제시한다.

상세 분석

PhyWorldBench는 물리학 교과서와 전문가 컨설팅을 기반으로 “객체 운동·운동학”, “상호작용 역학”, “에너지 보존”, “유체·입자 역학”, “강체 역학”, “조명·그림자”, “변형·탄성”, “스케일·비례”, “인간·동물 운동”, “반물리” 등 10개의 메인 카테고리를 정의하고, 각 카테고리를 5개의 세부 서브카테고리로 세분화하였다. 서브카테고리당 7개의 시나리오를 선정하고, 각각을 (1) 이벤트 프롬프트, (2) 물리‑강화 프롬프트, (3) 상세 내러티브 프롬프트의 3가지 변형으로 제작해 총 1 050개의 프롬프트를 확보했다. 이 과정에서 GPT‑4o·Gemini‑1.5‑Pro를 이용해 초안을 생성하고, 인간 전문가가 다양성·물리 적합성을 검증·보완함으로써 데이터 품질을 보증하였다.

평가 방법은 두 축으로 나뉜다. 첫째, 12 600개의 비디오(각 모델당 1 050개)를 인간 평가자에게 제공해 Yes/No 형태의 물리 일관성 판단을 수집하였다. 둘째, 최신 멀티모달 LLM(GPT‑o1 등)을 프롬프트와 비디오 메타데이터에 적용해 제로샷 물리 평가를 수행했으며, 인간 평가와 높은 상관관계를 보였다.

실험 결과, 오픈소스 모델 중 W‑anx‑2.1이 0.31, 프로프라이어터리 모델 중 Pika 2.0이 0.262의 성공률로 최고였지만, 전체 평균 성공률은 0.18 수준에 불과했다. 특히 ‘충돌·파편’, ‘유체 흐름·거품’, ‘인간·동물 관절·균형’ 등 복합 동역학 시나리오에서 오류율이 70 %를 초과했다. 반물리 카테고리에서는 모델이 물리 위반을 인식하고 일관된 비주얼을 생성하는 데에도 한계가 있었으며, 이는 모델이 물리 법칙을 내재화하기보다 훈련 데이터의 통계적 패턴에 의존한다는 점을 시사한다.

프롬프트 변형 분석에서는 상세 내러티브 프롬프트가 물리 일관성 점수를 평균 12 % 상승시켰으며, 이는 모델이 풍부한 컨텍스트를 활용해 물리적 제약을 추론할 여지를 제공한다는 의미다. 또한, 물리‑강화 프롬프트는 기본 이벤트 프롬프트 대비 8 % 정도의 향상을 보였지만, 과도한 물리 용어 삽입은 오히려 혼란을 야기할 수 있다.

본 논문은 물리 현실성 평가를 위한 체계적 벤치마크와 평가 파이프라인을 제시함으로써, 향후 텍스트‑투‑비디오 연구가 시각적 품질뿐 아니라 물리적 타당성을 동시에 고려하도록 이끌 중요한 기준점을 제공한다.