물리 법칙을 완벽하게 구현하는 차세대 AI 비디오 생성 엔진 MoReGen

초록

기존 텍스트-비디오(T2V) 생성 모델의 한계인 물리적 불일치 문제를 해결하기 위해, 멀티 에이전트 LLM과 물리 시뮬레이터를 결합하여 뉴턴 역학 기반의 정확한 움직임을 생성하는 MoReGen 프레임워크와 새로운 평가 벤치마크인 MoReSet을 제안합니다.

상세 분석

본 논문은 현재 텍스트-비디오(T2V) 생성 기술이 직면한 가장 치명적인 약점인 ‘물리적 비일관성’을 정면으로 다루고 있습니다. 기존의 확산 모델(Diffusion Models) 기반 T2V는 시각적 사실성(Photorealism) 측면에서는 놀라운 발전을 이루었으나, 중력, 충돌, 관성 등 뉴턴 역학의 기본 원리를 무시하는 ‘물리적 환각(Physical Hallucination)’ 현상을 빈번하게 발생시킵니다.

MoReGen의 핵심 기술적 차별점은 ‘픽셀 예측’에서 ‘코드 기반 시뮬레이션’으로의 패러다임 전환에 있습니다. 저자들은 멀티 에이전트 LLM(Large Language Model)을 활용하여 텍스트 프롬프트를 물리적 명령어가 포함된 코드로 변환하는 구조를 설계했습니다. 이 시스템은 단순히 이미지를 생성하는 것이 아니라, LLM이 물리적 추론을 수행하고, 물리 시뮬레이터가 뉴턴 역학 법칙에 따라 물체의 궤적을 계산하며, 최종적으로 렌더러가 이를 시각화하는 단계를 거칩니다. 이는 생성 과정에 결정론적(Deterministic)인 물리 법칙을 강제함으로써, 기존 모델들이 해결하지 못한 움직임의 정확성을 확보합니다.

또한, 평가 방법론의 혁신도 주목할 만합니다. 기존의 CLIP Score나 미적 점수(Aesthetic Score)는 영상의 물리적 정확도를 측정할 수 없다는 한계가 있습니다. 연구진은 ‘객체-궤적 일치도(Object-trajectory correspondence)‘라는 새로운 메트릭을 제안하여, 생성된 영상 속 물체의 움직임이 실제 물리적 궤적과 얼마나 일치하는지를 정량적으로 측정할 수 있는 기반을 마련했습니다. 이는 AI 비디오 생성 연구가 단순한 시각적 화려함을 넘어, ‘물리적 세계 모델(World Model)‘로 진화하기 위한 필수적인 이정표를 제시한 것으로 평가됩니다.

최근 생성형 AI 분야에서 텍스트를 비디오로 변환하는 기술은 비약적인 발전을 거듭해 왔습니다. 하지만 우리가 목격하는 대부분의 고성능 T2V 모델들은 물체가 공중에 떠 있거나, 충돌 시 형태가 왜곡되는 등 물리 법칙을 위배하는 오류를 범하곤 합니다. MoReGen 연구팀은 이러한 문제를 해결하기 위해 물리 법칙에 기반한 새로운 비디오 생성 프레록워크인 ‘MoReGen’을 발표했습니다.

MoReGen의 작동 원리는 매우 체계적입니다. 이 프레임워크는 세 가지 핵심 에이전트의 협업으로 이루어집니다. 첫째, ‘추론 에이전트(LLM)‘는 사용자의 텍스트 프롬프트를 분석하여 물리적 상황을 이해하고, 이를 실행 가능한 코드로 변환합니다. 둘째, ‘물리 시뮬레이션 에이전트’는 생성된 코드를 바탕으로 뉴턴 역학 법칙(중력, 마찰력, 가속도 등)을 적용하여 물체의 정확한 움직임과 궤적을 계산합니다. 셋째, ‘렌더링 에이전트’는 계산된 물리적 데이터를 바탕으로 최종적인 시각적 영상을 생성합니다. 이러한 ‘코드 기반 생성(Code-based Synthesis)’ 방식은 생성 과정에 물리적 제약 조건을 직접 주입할 수 있어, 영상의 물리적 신뢰도를 극대화합니다.

연구진은 MoReGen의 성능을 검증하기 위해 두 가지 중요한 도구를 함께 선보였습니다. 첫 번째는 ‘MoReSet’이라는 새로운 벤치마크 데이터셋입니다. 이는 9가지 뉴턴 역학 현상을 포함하여 총 1,275개의 인간 주석 영상으로 구성되어 있으며, 각 영상에는 장면 설명, 시공간적 관계, 그리고 정답(Ground-truth) 궤적 데이터가 포함되어 있어 모델의 물리적 정확도를 정밀하게 테스트할 수 있습니다. 두 번째는 ‘객체-궤적 일치도’라는 새로운 평가 지표입니다. 이는 생성된 영상 내 물체의 움직임이 사전에 정의된 물리적 궤적과 얼마나 일치하는지를 수치화하여, 기존의 시각적 유사도 중심 평가가 놓치던 물리적 타당성을 측정합니다.

실험 결과, 기존의 최첨단(SOTA) T2V 모델들은 시각적으로는 훌륭하지만 물리적 타당성 측면에서는 심각한 결함을 보였습니다. 반면, MoReGen은 물리 법칙을 준수하는 영상 생성에서 압도적인 성능을 보여주었습니다. 결론적으로, 본 연구는 AI가 단순히 이미지를 흉내 내는 수준을 넘어, 우리가 사는 물리적 세계의 법칙을 이해하고 재현할 수 있는 ‘물리 기반 세계 모델(Physics-ground 모델)‘로 나아가기 위한 중요한 기술적 토대를 마련했습니다.