일반 세계 모델을 위한 일관성 삼위일체

본 논문은 인공지능이 물리적 세계를 학습·시뮬레이션·추론할 수 있는 일반 세계 모델(General World Model)의 핵심 요구조건을 “일관성 삼위일체(Trinity of Consistency)”라는 개념으로 정형화한다. 이 삼위일체는 (1) 모달 일관성(Modal Consistency) – 텍스트·이미지·오디오·촉각 등 다양한 감각 정보를 하나의 의미론적 인터페이스에 정렬하는 능력, (2) 공간 일관성(Spatial Consistency) – 3차원 기하학적 구조와 물체 영속성·가시성·오클루전 등을 보장하는 정적 세계 모델링, (3) 시간 일관성(Temporal Consistency) – 물리 법칙과 인과 관계를 유지하며 동적 변화를 예측하는 인과 엔진, 로 구성된다. **1. 서론**에서는 AGI를 위한 세계 모델의 필요성을 강조하고, 최근 비디오 생성 모델(Sora, Gen‑3)과 통합 멀티모달 모델(UMM)의 발전을 소개한다. 그러나 현재 모델들은 픽셀 통계에 치중해 물리적 일관성이 결여된 “나이브 물리학자” 수준에 머물러 있음을 지적한다. **2. 일관성 별 탐구**에서는 각 축을 독립적으로 조명한다. - *모달 일관성*에서는 플라톤식 표현 가설과 단위 초구 가설을 바탕으로, 시각 데이터와 언어 데이터 사이의 엔트로피·밀도 차이를 “모달 갭”이라 정의한다. 기존 CLIP‑형식 공동 임베딩, 연속 흐름 매칭, 그리고 테스트‑타임 피드백 루프를 통한 의도 정렬 기법을 상세히 검토한다. - *공간 일관성*에서는 2D 프록시에서 시작해 연속 장면 필드, 라그랑지안 원시, 명시적 Lagrangian 프리미티브까지의 진화를 서술한다. 암시적 신경 장면 필드(NeRF‑계열)와 명시적 물리 기반 프리미티브(예: 물체 질량·탄성) 결합을 통해 기하학적 정확성과 물리적 타당성을 동시에 확보하는 방법을 제시한다. - *시간 일관성*에서는 주파수 안정성 → 물리 법칙 준수 → 잠재 시간 팽창(latent temporal inflation) → 자기 회귀적 디코더 순으로 발전한 흐름을 설명한다. DiT와 같은 통합 시공간 트랜스포머, 논리·인과 그래프 기반 추론 모듈을 통해 장기 의존성과 인과적 일관성을 모델링한다. **3. 일관성 통합**에서는 UMM이 어떻게 모달·공간·시간 정보를 공동 잠재 공간에 매핑하고, 이를 통해 내부 세계 시뮬레이터를 형성하는지를 논한다. 모달‑공간 정렬을 위한 픽셀‑공간 매핑, 뷰‑공간 매핑, 볼륨‑공간 표현 등을 소개하고, 강화학습을 활용한 정렬 메커니즘을 제시한다. 또한 모달‑시간, 공간‑시간, 모달‑공간‑시간 교차 정렬을 위한 구조적 제어와 강화학습 기반 피드백 루프를 상세히 설명한다. **4. 도전 과제와 벤치마크**에서는 현재 모델이 “예비 융합” 단계에서 “진정한 통합” 단계로 넘어가기 위한 핵심 난제(예: 고차원 잠재 공간의 안정성, 물리 법칙의 명시적 인코딩, 멀티모달 교차 검증)를 제시한다. 기존 벤치마크가 모달·공간·시간을 개별적으로만 평가하는 한계를 지적하고, 이를 보완하기 위해 새롭게 설계된 CoW‑Bench을 소개한다. **5. CoW‑Bench**는 (1) 데이터셋 구축(다중 프레임 질문·생성, 복합 시나리오), (2) 평가 지표 설계(모달·공간·시간 각각의 일관성 점수와 교차 일관성 점수), (3) 기존 벤치마크와의 비교, (4) 실험 결과를 포함한다. 실험에서는 Sora, Gen‑3, HunyuanVideo, BAGEL, Seedream‑4‑5 등 최신 비디오·멀티모달 모델을 평가했으며, 모달·공간·시간 각각에서는 평균 70~80% 수준이지만, 교차 일관성(예: 텍스트‑공간 결합, 시간‑공간 네비게이션)에서는 40~55%에 머물러 있음을 보고한다. 이는 현재 모델이 “그림을 그리는” 수준을 넘어 “세계를 이해하고 조작하는” 수준으로 진입하려면 삼위일체 일관성을 동시에 만족시켜야 함을 시사한다. **6. 결론**에서는 일관성 삼위일체가 일반 세계 모델의 정의적 원칙이며, CoW‑Bench가 이를 검증하는 최초의 통합 벤치마크임을 강조한다. 향후 연구는 (i) 일관성을 보장하는 학습 목표 설계, (ii) 물리 법칙을 명시적으로 인코딩하는 구조, (iii) 대규모 멀티모달 데이터와 테스트‑타임 추론을 결합한 하이브리드 학습 프레임워크 개발을 제안한다. 궁극적으로는 “일관성을 갖춘 세계 시뮬레이터”가 AGI 실현을 위한 핵심 기반이 될 것이라고 주장한다.