프레임캐시: 훈련 없이 구현하는 장기 인간 애니메이션 일관성 프레임워크

초록

본 논문은 인간 애니메이션에서 장기 시퀀스의 시간적 일관성과 시각적 안정성을 확보하기 위해, 훈련이 필요 없는 세 단계(스크린‑캐시‑매치) 프레임 관리 체계인 FrameCache를 제안한다. 스크린 단계에서는 CLIP‑IQA와 MUSIQ를 결합한 품질 점수와 적응형 임계값으로 고품질 프레임을 선별하고, 캐시 단계에서는 코사인 유사도 기반의 중복‑감지와 이득 계산을 통해 다양성을 유지하면서 프레임을 교체한다. 매치 단계에서는 목표 포즈 시퀀스와 캐시된 프레임 간의 평균 코사인 유사도를 이용해 동작에 가장 일치하는 레퍼런스를 선택한다. 다양한 diffusion 기반 애니메이션 모델에 플러그인 형태로 적용했을 때, 시간적 플리커 감소와 세부 디테일 보존에서 일관된 성능 향상을 보였다.

상세 분석

FrameCache는 인간 인지에서 과거 관찰을 현재 행동 해석에 활용하는 메커니즘을 모방하여, 생성 모델이 자체적으로 장기 의존성을 학습하지 않아도 과거 프레임을 효과적으로 재활용하도록 설계되었다. 첫 번째 스크린 단계는 두 개의 무참조 이미지 품질 평가 지표(CLIP‑IQA, MUSIQ)를 가중 평균해 프레임 품질 점수를 산출하고, 초기 프레임의 점수를 기준으로 동적 임계값 τ= S₀·max{α,1/(1+e⁻²S₀)} 를 적용한다. 이를 통해 저품질 프레임이 캐시 풀에 유입되는 것을 방지하고, 전체 파이프라인의 노이즈 축적을 억제한다. 두 번째 캐시 단계는 고품질 프레임이라 하더라도 내용이 중복될 경우 레퍼런스 효용이 감소한다는 점을 고려한다. 각 프레임을 특징 텐서 xᵢ 로 표현하고 코사인 유사도 행렬 S를 계산한 뒤, 행별 합 rᵢ 로 중복 정도를 추정한다. 새로운 후보 프레임 x_new 이 들어오면 기존 프레임마다 gᵢ = Σⱼ Sᵢⱼ − 2rᵢ + 2(Σⱼ s_new,ⱼ − s_new,ᵢ) 를 구해 가장 낮은 gᵢ 값을 가진 프레임을 교체 후보로 선택한다. 이 과정은 “대체‑이득”을 기반으로 하여, 시각적 다양성을 유지하면서도 최신 정보를 반영한다. 세 번째 매치 단계는 시간적 정합성을 확보한다. 목표 포즈 시퀀스 {x_t}₁ᵀ와 캐시된 레퍼런스 포즈 x_refᵢ 사이의 코사인 유사도를 모든 t에 대해 평균하여 Sim(x_refᵢ) = (1/T) Σₜ cos(x_refᵢ, x_t) 를 구하고, 가장 높은 Sim 값을 가진 프레임 f* 를 현재 프레임 생성에 활용한다. 이 방식은 단일 평균 벡터가 놓칠 수 있는 세부 동작 변화를 포착해, 급격한 포즈 전환에서도 일관된 아이덴티티와 디테일을 유지한다. 실험에서는 MagicAnimate, StableAnimator, UniAnimate‑DiT 등 다양한 diffusion 기반 베이스라인에 FrameCache를 적용했을 때, 프레임 간 플리커 감소, 의상·액세서리 일관성 향상, 백뷰 패턴 통합 등 정량·정성 지표 모두에서 유의미한 개선을 보였다. 한계점으로는 베이스라인이 자체적으로 충분한 시간적 추론 능력을 갖추고 있지 않을 경우, FrameCache의 효과가 제한적이며, 실제‑합성 간 도메인 차이가 클 때도 성능 저하가 관찰된다. 향후 연구에서는 캐시 용량 및 교체 정책을 동적으로 조정하는 메타‑러닝 기법과, 다양한 베이스라인과의 호환성을 사전에 예측하는 적응형 매칭 메커니즘을 탐색할 필요가 있다.