비디오 확산 모델의 추론 메커니즘 단계 기반 사고

본 논문은 최근 확산 기반 비디오 생성 모델이 보여주는 비정형적인 추론 능력을 체계적으로 분석하고, 기존의 “프레임 연쇄(Chain‑of‑Frames, CoF)” 가설을 근본적으로 뒤집는 새로운 메커니즘을 제시한다. 연구팀은 먼저 최신 비디오 추론 모델인 VBVR‑Wang2.2을 다양한 대규모 비디오 추론 데이터셋(VBVR, VBench 등)에서 fine‑tuning한 뒤, 각 디노이징 단계(s)에서 복원된 잠재 ˆx₀를 디코딩해 시각화하였다. 이 과정에서 발견된 핵심 현상은 다음과 같다. 1. **추론은 시간 축이 아니라 디노이징 단계에서 진행** - 초기 단계에서는 노이즈가 많이 남아 있어 모델이 여러 가능한 해를 동시에 ‘슈퍼포지션’ 형태로 표현한다. - 중간 단계에서는 후보가 점진적으로 정제·축소되며, 논리적 결론이 형성된다. - 최종 단계에서는 하나의 일관된 비디오가 완성된다. 2. **두 가지 대표적 탐색 패턴** - **다중 경로 탐색(Multi‑Path Exploration)**: 복잡한 논리·경로 선택 문제에서 모델이 BFS와 유사하게 후보 트리를 넓게 펼치고, 단계가 진행될수록 불합리한 경로를 억제한다. 예시로 로봇 미로 탐색, 틱‑택‑토 승리 수 찾기 등이 있다. - **중첩 기반 탐색(Superposition‑based Exploration)**: 객체 재배열·크기 패턴 등 상호 배타적인 상태를 동시에 유지하고, 노이즈 감소와 함께 하나의 해로 수렴한다. 3. **노이즈 교란 실험을 통한 메커니즘 검증** - “Noise at Step”(디노이징 단계에 노이즈 삽입)와 “Noise at Frame”(프레임에 노이즈 삽입)를 비교했을 때, 전자는 성능을 크게 저하시켰고 후자는 상대적으로 미미했다. - CKA(중심 커널 정렬) 분석을 통해 중간 단계에서 토큰 표현이 급격히 변하면서 핵심 논리적 정보가 재구성되는 시점을 확인했다. 4. **Diffusion Transformer 내부 기능 특화** - **초기 레이어**: 전경‑배경 구분, 기본 기하 구조 인식 등 ‘지각’ 역할. - **중간 레이어**: 관계 추론, 순서 판단 등 복합 논리 연산을 담당. - **후기 레이어**: 정제된 잠재를 다음 스텝에 전달하는 ‘통합’ 역할. 이러한 층별 특화는 사전 학습 없이도 자연스럽게 발생하며, 인간 뇌의 계획·시뮬레이션 메커니즘과 유사성을 시사한다. 5. **LLM과 유사한 고차원 추론 행동** - **작업 기억(Working Memory)**: 객체 영속성 테스트에서 모델이 초기 단계에 사라진 객체를 후속 단계에서 재인식한다. - **자기 교정(Self‑Correction)**: 초기 단계에서 잘못된 경로를 선택했음에도 중간 단계에서 자동으로 수정한다. - **인지‑행동 순서(Perception before Action)**: 초기 단계에서 목표 객체를 정확히 로컬라이징하고, 이후 단계에서 구조적 조작을 수행한다. 6. **훈련‑무료 성능 향상 전략** - 동일 모델을 서로 다른 랜덤 시드로 세 번 실행해 얻은 잠재 궤적을 평균(또는 가중 평균)하여 새로운 초기 잠재를 만든다. - 이 앙상블 기법은 모델이 더 다양한 후보를 유지하도록 강제하고, 최종 단계에서 올바른 해에 수렴할 확률을 높인다. - 실험 결과, 평균 3~5%의 정확도 향상을 기록했으며, 특히 복잡한 논리 퍼즐이나 미로 탐색 과제에서 큰 효과를 보였다. 7. **연구 의의와 향후 방향** - 비디오 생성 모델이 단순히 시각적 신호를 복제하는 것이 아니라, 디노이징 과정을 통해 내재적인 추론 엔진을 구동한다는 새로운 패러다임을 제시한다. - 기존 비디오 모델 설계에서 “프레임” 중심이 아닌 “디노이징 단계” 중심으로 구조와 학습 목표를 재구성해야 함을 강조한다. - 향후 연구는 CoS 메커니즘을 활용해 보다 복잡한 멀티모달 추론, 장기 기억, 그리고 외부 도구와의 인터랙션을 통합하는 방향으로 확장될 수 있다. 요약하면, 논문은 비디오 확산 모델이 디노이징 단계에서 다중 후보를 탐색·정제하며 최종 결론에 도달하는 “단계 연쇄(Chain‑of‑Steps, CoS)” 메커니즘을 밝혀냈고, 이를 기반으로 작업 기억, 자기 교정, 인지‑행동 순서 등 고차원 추론 행동이 자연스럽게 나타남을 실험적으로 입증하였다. 또한, 간단한 앙상블 전략을 통해 추론 성능을 훈련‑무료로 향상시킬 수 있음을 보여주며, 비디오 모델을 차세대 인공지능 지능의 새로운 기반(substrate)으로 활용할 가능성을 제시한다.