동작 강제: 복합 동역학을 위한 분리형 비디오 생성 프레임워크

초록

본 논문은 물리적 일관성, 고품질 시각 표현, 정밀 제어라는 세 축을 동시에 만족시키기 어려운 기존 비디오 생성 모델의 한계를 극복하고자, “점‑형태‑외관” 3단계 계층 구조와 마스크된 점 복구 전략을 도입한 Motion Forcing 프레임워크를 제안한다. sparse한 포인트 제어 신호를 깊이 맵(Shape)으로 변환한 뒤, 이를 기반으로 고해상도 RGB 프레임(Appearance)을 합성함으로써 복잡한 교통·충돌 장면에서도 물리적 일관성을 유지한다.

상세 분석

Motion Forcing은 비디오 생성 문제를 물리적 추론과 시각 합성으로 명확히 분리한다는 점에서 혁신적이다. 기존의 엔드‑투‑엔드 diffusion 기반 모델은 동역학과 텍스처를 동시에 학습하면서 시각적 손실을 최소화하려는 경향이 강해 물리 법칙(관성, 충돌, 영속성 등)이 무시되는 경우가 많았다. 저자는 이를 “Point‑Shape‑Appearance”라는 3단계 파이프라인으로 재구성한다. 첫 단계인 Point에서는 각 객체를 중심 좌표와 반경(인스케이브 원)으로 표현해 깊이 순서를 암시한다. 이 sparse한 표현은 사용자가 직접 그리거나 언어 명령으로 생성할 수 있어 제어 자유도가 높다. 두 번째 단계인 Shape에서는 Point 정보를 기반으로 동적인 깊이 맵을 생성한다. 깊이 맵은 3D 기하학을 명시적으로 제공함으로써 객체 간 가림, 충돌, 상대 운동을 정확히 모델링한다. 특히 깊이 맵을 카메라 움직임과 결합해 depth warping 방식으로 카메라 변환을 표현함으로써, 6‑DoF 카메라 제어를 픽셀 수준에서 정밀히 전달한다. 마지막 Appearance 단계에서는 검증된 깊이 맵을 조건으로 고해상도 RGB 프레임을 렌더링한다. 이 단계는 기존 diffusion UNet 혹은 DiT 구조를 그대로 활용하되, 깊이 맵을 추가적인 채널로 입력함으로써 시각적 디테일을 보강한다.

핵심적인 학습 기법으로 도입된 Masked Point Recovery는 Point 입력을 임의로 마스킹하고, 마스크된 상태에서도 완전한 깊이 시퀀스를 복원하도록 강제한다. 이는 모델이 단순히 입력을 그대로 복제하는 것이 아니라, 물리적 법칙을 내재화해 누락된 궤적을 추론하도록 만든다. 예를 들어, 한 객체의 속도가 마스킹되면 모델은 관성, 주변 객체와의 충돌 가능성, 깊이 순서 등을 고려해 합리적인 움직임을 예측한다. 이러한 전략은 물리적 일관성을 강화하면서도 제어 가능성을 유지한다는 두 마리 토끼를 잡는다.

실험에서는 자율 주행 데이터셋(Waymo, DrivingDojo, YouTube)뿐 아니라 물리 시뮬레이션(Physion)과 로봇 조작(Jaco Play)까지 다양한 도메인에서 평가하였다. 정량 지표(FVD, LPIPS, 물리 일관성 점수)와 정성적 시각에서 Motion Forcing은 기존 MoFA‑Video, STANCE, 최신 Foundation 모델(Seed‑Dance 2.0, WAN 2.6)보다 월등히 높은 물리적 타당성과 영상 품질을 보였다. 특히 복잡한 교통 상황(다중 차량 충돌, 급정거)이나 로봇 손 조작에서 입력된 포인트 제어만으로도 정확한 충돌 회피와 물체 영속성을 유지하며, 시각적 디테일은 손실 없이 재현한다.

요약하면, 이 논문은 (1) 물리‑시각 분리를 통한 구조적 안정성, (2) 마스크 복구를 통한 능동적 물리 학습, (3) 포인트 기반 제어의 범용성이라는 세 가지 핵심 기여를 제시한다. 이러한 설계는 향후 복합 물리 환경에서의 비디오 생성, 시뮬레이션, 가상 현실 등에 널리 적용될 가능성을 열어준다.