시각적 화려함을 넘어 행동 가능한 시뮬레이터로

초록

이 논문은 현재 세계 모델이 고화질 영상 생성에 집중하면서 물리·인과 관계를 놓치는 문제를 지적한다. 시각적 사실성만으로는 안전·신뢰성을 보장할 수 없으며, 물리적 제약과 인과 구조를 내재한 “행동 가능한 시뮬레이터”가 필요함을 주장한다. 의료 의사결정과 같은 위험도가 높은 분야를 사례로, 장기 예측, 개입 계획, 반사실 추론 능력이 평가 기준이 되어야 함을 제시한다.

상세 분석

논문은 세계 모델을 “시각적 엔진”과 “행동 가능한 시뮬레이터”라는 두 축으로 구분하고, 기존 접근이 픽셀 수준의 예측에 머무르는 한계점을 상세히 분석한다. 첫 번째 한계는 시각적 환각과 동역학 환각을 구분한 점이다. 전자는 텍스처나 조명 오류와 같은 미관상의 결함이며, 후자는 물리 법칙을 위배하는 예측으로, 예를 들어 충돌 전 유리 파편이 사라지거나 치료 없이 종양이 축소되는 경우가 있다. 이러한 동역학 환각은 인과 관계를 왜곡해 안전-critical 시스템에서 치명적 오류를 초래한다.

두 번째로, 논문은 외부 인터페이스의 진화를 2D 영상 → 3D/4D 구조적 메쉬, 지속적 장면 메모리, 인과 그래프 등으로 정리한다. 구조적 표현은 객체 영속성, 시점 불변성, 그리고 장기적 일관성을 제공한다. SPARTAN과 PoE‑World 같은 모델이 sparse transformer와 프로그램적 규칙을 통해 인과적 상호작용을 명시적으로 학습함으로써 장기 롤아웃의 오류 누적을 억제한다는 점을 강조한다.

세 번째 핵심은 자기‑진화(self‑evolution) 메커니즘이다. 모델이 자체 생성한 롤아웃을 학습 신호로 재활용함으로써, 실시간 피드백 루프에서 오류를 교정하고 동적 환경에 적응한다. Robogen, GenRL, LLM3, DrEureka, CARD 등은 이러한 자기‑진화 방식을 구현한 사례이며, 특히 오류‑주도 피드백이 장기 일관성을 유지하는 데 필수적임을 실증한다. 다만, 편향된 초기 데이터가 자기‑진화 루프에서 증폭될 위험도 경고한다.

네 번째로, 물리적 앵커링의 필요성을 논한다. PIN‑WM은 미분 가능한 강체 역학을 그래프에 직접 삽입해 물리적 제약을 하드코딩하고, RoboScape은 비디오·깊이·키포인트를 공동 최적화해 암묵적 물리 일관성을 확보한다. WISA와 V‑JEPA‑A는 물리 프라이어를 확산 모델과 잠재 공간에 주입해 물리적 불가능한 전이를 페널티화한다. 이러한 접근은 자기‑진화가 물리적 드리프트(causal hallucination)로 빠지는 것을 방지한다.

마지막으로, 제한된 실제 상호작용 환경에서 상상 기반 학습이 어떻게 일반화를 촉진하는지를 검토한다. GenRL, DiWA, WHALE 등은 불확실성 가중치와 행동 조건화를 도입해 모델이 자체 생성 데이터에 과도하게 최적화되는 것을 방지한다. 특히 의료 분야를 스트레스 테스트로 삼아, 시각적 환각이 치명적인 오진으로 이어질 수 있음을 강조한다. 전체적으로 논문은 세계 모델 평가를 “시각적 품질 → 인과·물리 일관성 → 행동 효용” 순으로 재정의하고, 폐쇄‑루프, 의사결정 중심의 메트릭을 제안한다.