비디오 세계 모델의 물리 해석

초록

본 연구는 대규모 비디오 트랜스포머 인코더 내부에 물리 변수들이 어떻게 표현되는지를 층별 프로빙, 서브스페이스 분석, 패치 디코딩, 그리고 주의 메커니즘 억제 실험을 통해 규명한다. 물리 정보는 전체 깊이의 약 1/3 지점에서 급격히 나타나는 “Physics Emergence Zone”에서 처음 드러나며, 속도·가속도와 같은 스칼라량은 초기 층부터 접근 가능하지만, 방향성은 이 영역에서만 고차원 원형(population) 코드를 통해 인코딩된다. 물리 변수는 저차원 압축형이 아니라 다수의 특성이 협조적으로 작동하는 분산 표현으로 존재한다는 결론을 제시한다.

상세 분석

이 논문은 최신 비디오 세계 모델인 V‑JEP‑A2와 VideoMAE‑v2‑G를 대상으로, 물리적 변수의 내부 표현을 정량·정성적으로 탐색한다. 핵심 방법론은 (1) 각 레이어의 residual stream에 대해 선형 프로브와 attention‑MLP 프로브를 학습해 물리 변수(속도, 가속도, 속도 크기, 방향, 가속도 크기)를 직접 디코딩하고, (2) 프로브 성능의 변화를 통해 물리 정보가 언제, 어디서 형성되는지를 파악한다. 실험 결과, 모든 모델에서 깊이 1/3 지점에 해당하는 “Physics Emergence Zone”(PEZ)에서 물리‑가능/불가능 판단 정확도가 급격히 상승한다. 이는 모델이 저수준 시각 특징을 넘어 시공간 연속성을 통합하는 고차원 표현을 형성하기 시작함을 의미한다.

PEZ 이후 중간 층에서 물리 프로브 성능이 최고점에 도달하고, 최종 출력층으로 갈수록 감소한다는 현상은, 최종 레이어가 주로 다운스트림 과제(예: 이미지 분류)를 위한 압축된 시각 특징을 보존하고 물리적 구조는 희석된다는 점을 시사한다.

스칼라 물리량(속도 성분 v_x, v_y, 가속도 a_x, a_y, 속도·가속도 크기)은 초기 레이어부터 선형 프로브로 높은 정확도를 보이며, 가속도가 속도 중간값을 필요로 하지 않고 직접 MLP로 추정될 수 있음을 확인한다(섹션 5.2). 반면, 방향 θ는 초기 레이어에서는 거의 검출되지 않으며, PEZ에서 급격히 나타난다. 방향 정보는 단일 차원에 압축되지 않고, 수십 개의 거의 직교적인 차원에 걸쳐 원형(θ‑mod‑2π) 구조를 형성한다. 이는 뇌의 움직임 인구코드와 유사한 고차원 집단 코드이며, 개별 차원을 조작해도 방향을 바꾸기 어려워 다수의 특성을 동시에 변형해야 함을 의미한다(섹션 7.2).

또한, 물리‑가능/불가능 판단과 방향 인코딩이 거의 직교하는 서브스페이스에 존재한다는 결과는, 두 과제가 동일한 잠재 물리 변수(예: 방향)를 공유하지 않으며, 각각 전용된 분산 표현을 학습한다는 점을 강조한다. 이는 전통적인 “physics engine” 가정(공통 잠재 상태를 재사용)과는 대조적이다.

주목할 만한 메커니즘적 발견은 PEZ 내부의 몇몇 attention head가 매우 국소적인 시공간 패치를 집중한다는 점이다. 이 head들을 억제하면 물리 판단과 시간 순서 파악(예: 비디오 셔플 검출) 성능이 크게 떨어지지만, ImageNet 분류와 같은 정적 과제에는 거의 영향을 주지 않는다. 따라서 물리적 추론은 특정 지역적 spatiotemporal 처리에 의존하는 전용 회로가 존재한다는 증거가 된다.

전체적으로, 논문은 현대 비디오 트랜스포머가 물리 변수를 압축된 독립 변수 집합이 아닌, 과제에 맞게 동적으로 형성되는 고차원 분산 코드로 표현한다는 강력한 증거를 제공한다. 이는 향후 물리‑인식 모델을 설계할 때, 명시적 상태 변수보다 작업‑특화된 표현 학습과 해당 표현을 제어할 수 있는 인터벤션 기법에 초점을 맞춰야 함을 시사한다.