일관된 멀티샷 영상 생성을 위한 캐시 기반 자동회귀 확산 프레임워크

초록

FilmWeaver는 자동회귀 확산 모델에 샷 캐시와 템포럴 캐시라는 두 단계의 메모리를 도입해, 임의 길이와 샷 수를 가진 영상에서도 인물·배경 일관성을 유지한다. 샷 캐시는 이전 샷의 핵심 프레임을 저장해 인터샷 일관성을, 템포럴 캐시는 현재 샷 내 프레임을 저장해 인트라샷 흐름을 보장한다. 데이터 수집·정제 파이프라인과 새로운 평가 지표를 통해 기존 방법들을 능가하는 품질과 일관성을 입증한다.

상세 분석

FilmWeaver는 기존 비디오 확산 모델이 단일 샷에 최적화된 점을 넘어, 멀티샷 영상 생성이라는 보다 복합적인 문제를 해결한다는 점에서 혁신적이다. 핵심 아이디어는 “일관성”을 인터샷(shot‑to‑shot)과 인트라샷(shot‑internal) 두 차원으로 분리하고, 각각을 전용 캐시 메커니즘으로 관리한다는 것이다.
1️⃣ 샷 캐시(Shot Cache) – 이전 샷들의 핵심 프레임을 선택적으로 저장한다. 키프레임 선택은 텍스트 프롬프트와 각 프레임의 CLIP 이미지 임베딩 사이의 코사인 유사도를 기반으로 하며, 상위 K개를 추출한다. 이렇게 추출된 시각적 요약은 새로운 샷을 생성할 때 모델에 “장기 기억”으로 주입돼, 등장인물·배경·스타일이 일관되게 유지된다.
2️⃣ 템포럴 캐시(Temporal Cache) – 현재 샷 내에서 최근에 생성된 프레임을 슬라이딩 윈도우 형태로 보관한다. 고빈도 프레임은 고해상도로, 오래된 프레임은 차등 압축(프레임 차이 기반)하여 메모리와 연산 비용을 최소화한다. 이는 인트라샷 모션 연속성을 보장하고, 급격한 플리커링을 방지한다.
3️⃣ 자동회귀 확산(Autoregressive Diffusion) – 기존 3D‑DiT와 같은 구조를 그대로 사용하면서, 위 두 캐시를 “인‑컨텍스트 주입” 방식으로 입력에 결합한다. 즉, 모델 아키텍처를 변경하지 않고도 추가적인 조건을 제공함으로써, 사전 학습된 텍스트‑투‑비디오 모델과의 호환성을 유지한다.
4️⃣ 학습 커리큘럼 – 두 단계로 구성된다. ① 단일 샷 장기 영상 생성에 집중, 템포럴 캐시만 활성화해 기본 모션 역학을 학습한다. ② 샷 캐시를 활성화하고 네 가지 캐시 조합(없음, 템포럴만, 샷만, 전부)으로 학습해 멀티샷 전이와 확장을 동시에 익힌다. 이렇게 단계적 학습을 하면 모델이 복잡한 장기 의존성을 점진적으로 습득한다.
5️⃣ 데이터 파이프라인 – 멀티샷 영상 데이터는 현재 공개된 데이터셋이 부족하다는 점을 인식하고, 샷‑to‑scene 수집, 씬‑to‑샷 클러스터링, 다중 레벨 에이전트 어노테이션을 통해 고품질 캡션·키프레임을 확보한다. 이는 캐시 기반 학습에 필요한 일관된 라벨링을 제공한다.
6️⃣ 평가 지표 – 기존 PSNR·FID 외에 ‘Identity Consistency’, ‘Background Consistency’, ‘Temporal Smoothness’를 정량화한 새로운 메트릭을 제안한다. 인간 평가와 자동 메트릭 모두에서 FilmWeaver가 기존 멀티샷 방법(TTT, LCT, EchoShot 등)을 크게 앞선다.
7️⃣ 다양한 응용 – 멀티‑컨셉 삽입, 인터랙티브 샷 연장, 샷‑단위 편집 등 사용자가 단계별로 캐시를 조작해 스토리보드를 자유롭게 구성할 수 있다. 이는 영화·광고·게임 시네마틱 제작 워크플로우에 직접 적용 가능하게 만든다.
전체적으로 FilmWeaver는 “메모리‑주입형” 확산 모델이라는 새로운 패러다임을 제시한다. 복잡한 멀티샷 시나리오에서도 높은 품질과 일관성을 유지하면서, 기존 모델의 구조적 변경 없이도 확장이 가능하다는 점이 가장 큰 강점이다. 다만 캐시 선택(K값, 압축 비율)과 키프레임 추출 정확도에 따라 성능 변동이 있을 수 있으며, 실시간 인터랙션을 위한 캐시 업데이트 비용이 아직 최적화 단계에 있지 않다는 점은 향후 연구 과제로 남는다.