MIND: 메모리 일관성과 행동 제어를 평가하는 세계 모델 벤치마크

초록

MIND는 1080p·24FPS 영상 250개를 활용해 첫·세 번째 인칭 시점에서 메모리 일관성과 행동 제어 능력을 동시에 측정하는 최초의 오픈‑도메인 폐쇄‑루프 벤치마크이다. 공유 행동 공간과 변형된 행동 공간을 모두 포함해 장기 기억 유지와 행동 공간 일반화 능력을 정량화한다. 또한 Video‑to‑World 인터랙티브 베이스라인인 MIND‑World를 제시해 향후 연구의 기준점을 제공한다.

상세 분석

MIND는 기존 세계 모델 벤치마크가 시각적 품질·물리적 타당성에만 초점을 맞춘 점을 보완한다. 첫‑인칭과 세‑인칭 두 시점을 모두 제공함으로써 모델이 관찰된 장면을 다양한 관점에서 재현할 수 있는지를 평가한다. 메모리 일관성은 “Memory Consistency”라는 명시적 목표 아래, 관찰된 메모리 세그먼트 M을 기반으로 미래 행동 A를 수행했을 때 생성된 프레임 ˆf가 원본 프레임 f와 얼마나 근접한지를 L_mem = ‖ˆf‑f′‖²로 측정한다. 이는 장면 레이아웃, 객체 정체성, 텍스처 등이 시간 흐름 속에서도 변하지 않아야 함을 의미한다.

행동 제어는 기본 8가지 입력(W, A, S, D, ↑, ↓, ←, →)에 대한 이동·회전 증분(Δp, Δr)을 다양하게 설정해, 동일 장면 내에서 서로 다른 속도·각도 조합을 적용한다. 첫‑인칭과 세‑인칭 각각 25개의 변형 행동 영상이 포함돼, 모델이 새로운 행동 스페이스에 얼마나 잘 일반화되는지를 “Action Generalization” 지표로 정량화한다.

평가 프레임워크는 (1) 장기 메모리 일관성(L_lcm) – 전체 메모리 시퀀스와 예측 시퀀스 간 MSE, (2) 단기 행동 재현 정확도 – 24프레임 단위 행동 루프 재현 시 L_mem, (3) 행동 공간 전이 성능 – 공유·변형 행동 스페이스 간 성능 차이, 로 구성된다. 이러한 다중 지표는 모델이 “관찰 → 기억 → 행동 → 재방문” 사이클을 얼마나 충실히 수행하는지를 종합적으로 파악한다.

MIND‑World 베이스라인은 Unreal Engine 5 기반 3D 환경을 실시간으로 렌더링하고, 입력 행동 로그를 받아 비디오를 생성하는 인터랙티브 파이프라인이다. 기존 확산 기반 세계 모델에 KV‑캐싱·Self‑Forcing 기법을 적용해 실시간 추론을 가능하게 했으며, 메모리 압축 모듈(CAM, Infinite‑World)과 3D 메모리 표현(SPMem) 등을 조합해 장기 일관성을 강화한다. 실험 결과, 현재 최첨단 모델들은 1‑2초 정도의 짧은 기억은 유지하지만 5초 이상에서는 객체 위치·텍스처가 점차 흐려지는 현상이 관찰되었다. 또한 행동 속도가 변할 때는 회전·이동 정확도가 급격히 저하돼, 행동 공간 일반화가 아직 미흡함을 보여준다.

이 논문은 (1) 고해상도·다시보기 가능한 오픈‑도메인 데이터셋 제공, (2) 메모리·행동 두 축을 동시에 측정하는 평가 프로토콜 제시, (3) 행동 공간 일반화라는 새로운 연구 과제 부각이라는 세 가지 주요 공헌을 가진다. 향후 연구는 메모리 압축 효율성, 3D 구조 기반 기억 재구성, 그리고 행동 공간 메타‑러닝을 통해 MIND에서 제시된 도전 과제를 극복해야 할 것이다.