동작 인식 개념 정렬을 통한 일관된 비디오 편집

초록

MoCA‑Video는 사전 학습된 비디오 확산 모델의 잠재 공간을 활용해, 별도 학습 없이도 영상 내 객체에 레퍼런스 이미지의 의미를 주입한다. 클래스‑불변 세그멘테이션과 대각선 디노이징 스케줄러로 객체를 추적하고, 모멘텀 기반 보정과 γ‑잔차 노이즈 모듈을 통해 시간적 일관성과 시각적 품질을 유지한다. SSIM·LPIPS·CASS 등으로 평가한 결과, 기존 학습‑무료 및 사전 학습 기반 방법들을 전반적으로 능가한다.

상세 분석

MoCA‑Video는 크게 네 가지 핵심 요소로 구성된다. 첫째, 잠재 공간 객체 추적이다. DDIM 역전 과정을 통해 얻은 중간 잠재 xₜ를 디코딩해 예측 청정 이미지 x̂₀를 얻고, 이를 RGB 프록시로 Grounded‑SAM2를 적용해 클래스‑불변 마스크 m₀를 생성한다. 이후 IoU‑최대화 기반 트래킹 알고리즘을 사용해 연속 프레임에 걸쳐 마스크를 유지한다. 이 접근법은 노이즈가 남아 있는 중간 단계에서도 충분히 의미 있는 구조를 보존하므로, 전통적인 픽셀‑레벨 세그멘테이션보다 강인하다.

둘째, 잠재 공간에서의 의미 주입이다. 레퍼런스 이미지 I_ref를 동일한 오토인코더로 인코딩해 잠재 z_ref를 얻고, 현재 프레임의 마스크 mₜ와 가중치 λₜ(시간에 따라 감소)로
x_mixₜ = xₜ·(1−mₜ) + λₜ·z_ref·mₜ
와 같이 혼합한다. 마스크가 부드러운 영역을 제공하므로, 작은 세그멘테이션 오류가 DDIM 스케줄러에 의해 자연스럽게 완화된다.

셋째, 모멘텀 보정이다. 의미 주입은 기존 디노이징 방향 dirₜ에 편향 gₜ = xₜ−xₜ₋₁ + λ·dirₜ을 만든다. 이를 누적 모멘텀 vₜ = β·vₜ₋₁ + (1−β)·gₜ와 결합해 보정된 청정 이미지 x̂₀(corr) = x̂₀(DDIM) + κₜ·vₜ를 생성한다. β는 모멘텀 감쇠, κₜ는 시간에 따라 감소하는 스케일이다. 이 메커니즘은 훈련 데이터 분포를 벗어난 ‘하이브리드’ 분포를 탐색하면서도 급격한 변화를 억제한다.

넷째, γ‑잔차 노이즈이다. 최종 잠재 x_finalₜ = x_mixₜ + γ·ε (ε∼N(0,I))를 삽입해 미세한 진동을 완화한다. γ는 매우 작은 값으로 설정해 시각적 품질을 손상시키지 않으면서, 프레임 간 플리커를 감소시킨다.

실험에서는 CTIB와 DAVIS‑16을 결합해 100개의 엔티티 페어(동일‑카테고리·다른‑카테고리)를 구성하고, SSIM·LPIPS·새롭게 제안한 CASS·relCASS를 사용해 정량적 비교를 수행했다. MoCA‑Video는 기존 FreeBlend, RAVE 같은 학습‑무료 방법뿐 아니라 AnimateDiff‑V2V, TokenFlow 등 사전 학습 기반 방법보다 평균 SSIM + 3.2 %, LPIPS − 0.07, CASS + 0.12 점을 기록했다. 정성적 분석에서도 시간적 일관성(프레임 간 객체 형태 유지)과 의미적 융합(예: ‘우주비행사‑고양이’)이 뛰어나다는 것이 확인되었다.

이 논문의 주요 기여는 (1) 비디오 수준 의미 혼합을 위한 최초의 학습‑무료 프레임워크, (2) 객체‑레벨 마스크와 모멘텀 보정을 결합한 새로운 디노이징 흐름, (3) CASS·relCASS라는 의미 정렬 평가 지표 제안, (4) 다양한 엔티티 조합에 대한 포괄적 벤치마크 구축이다. 한계점으로는 마스크 품질에 여전히 의존한다는 점과, 매우 빠른 움직임을 가진 장면에서 IoU‑트래킹이 실패할 가능성이 있다는 점을 들 수 있다. 향후 연구에서는 옵티컬 플로우 기반 보강과 다중 객체 동시 편집을 탐색할 여지가 있다.