자동회귀 비디오 확산을 위한 시간 캐시 압축·희소 어텐션 혁신

초록

**
본 논문은 자동회귀 비디오 확산 모델에서 KV‑캐시가 시간에 따라 급증하는 문제를 해결한다. 저자는 (1) 프레임 간 중복 키를 병합하는 TempCache, (2) 프레임별로 중요한 프롬프트 토큰만 선택하는 AnnCA, (3) 의미적으로 연관된 키만을 대상으로 하는 AnnSA라는 세 가지 훈련‑프리 모듈을 제안한다. 근사 최근접 이웃(ANN) 검색을 경량화해 기존 어텐션 연산을 대폭 줄이며, 메모리 사용량을 일정하게 유지한다. 실험 결과 5‑10배 속도 향상을 달성하면서 시각 품질과 장기 일관성을 거의 손상시키지 않는다.

**

상세 분석

**
이 논문은 자동회귀 비디오 확산 모델이 실시간 스트리밍 생성에 적합하도록 설계된 최신 아키텍처를 대상으로, 핵심 병목인 3D 스페이시오‑템포럴 어텐션의 시간‑복합성을 정밀히 분석한다. 저자는 KV‑캐시가 프레임이 추가될수록 선형적으로 증가해 연산량 O(T²) 및 메모리 사용량이 폭증한다는 점을 지적하고, 이를 세 가지 구조적 중복성으로 구분한다. 첫째, 서로 다른 프레임에서 거의 동일한 키가 반복 저장되는 키 중복 현상이다. 이는 영상 내 정적인 배경이나 지속적인 객체가 동일한 의미적 표현을 유지하기 때문에 발생한다. 둘째, 쿼리와 키가 서서히 변하면서 의미적 정체성을 보이는 현상이다. 즉, Q와 K가 시간에 따라 큰 변동 없이 같은 의미 공간에 머무르므로, 매 스텝마다 전체 키와의 내적을 계산할 필요가 없다. 셋째, 긴 텍스트 프롬프트를 조건으로 사용할 때, 각 프레임에 실제로 영향을 미치는 토큰은 극히 일부에 불과하다는 프롬프트 선택적 집중이다.

이를 기반으로 제안된 세 모듈은 모두 근사 최근접 이웃(ANN) 검색을 활용한다.

• TempCache는 현재 프레임의 쿼리와 이전 프레임의 키 사이에 시간적 대응 관계를 찾고, 높은 유사도를 보이는 키‑값 쌍을 병합한다. 병합 기준은 LSH 기반 해시 또는 양자화된 벡터 거리이며, 병합 후 캐시 크기는 일정 상한 이하로 유지된다.
• AnnCA는 크로스‑어텐션 단계에서 프레임‑별로 중요한 프롬프트 토큰을 빠르게 추출한다. 프레임의 쿼리와 프롬프트 키를 LSH 혹은 제품 양자화(PQ) 방식으로 매핑해, 상위 N개의 토큰만 남겨 연산량을 크게 감소시킨다.
• AnnSA는 자체‑어텐션에서 각 쿼리가 의미적으로 가장 관련된 키 집합만을 선택한다. 여기서도 LSH 해시 버킷을 이용해 후보 키를 제한하고, 선택된 후보에 대해서만 정밀한 어텐션을 수행한다.

핵심 설계는 훈련‑프리라는 점이다. 기존 방법들은 추가 파라미터 학습이나 재학습을 요구하지만, 본 접근은 사전 학습된 모델을 그대로 사용한다. 또한, 근사 검색 단계는 매우 가벼워서 전체 파이프라인에 큰 오버헤드를 주지 않는다. 실험에서는 H100 GPU 하나에서 2분 길이(3000프레임) 비디오를 5‑10배 빠르게 생성하면서, PSNR·SSIM·FID 등 정량적 지표가 원본 대비 0.1% 이하의 차이만 보였다. 메모리 측면에서는 KV‑캐시가 3000프레임에서도 초기 메모리 사용량과 거의 동일하게 유지돼, 장시간 롤아웃에서도 메모리 부족 현상이 사라졌다.

이러한 결과는 시간‑정적 캐시 압축과 희소 어텐션이 자동회귀 비디오 확산의 실시간·장기 적용에 필수적인 두 축임을 입증한다. 특히, LSH·양자화 기반 경량 ANN을 활용한 설계는 다른 시퀀스‑기반 생성 모델(예: LLM, 오디오 디퓨전)에도 일반화 가능성을 시사한다.

**