비디오 편집에 맞춘 조건부 오디오 생성으로 구현하는 일관된 오디오‑비주얼 편집

초록

본 논문은 최신 비디오 편집 기술로 목표 영상을 만든 뒤, 원본 오디오, 편집된 영상, 텍스트 프롬프트를 동시에 조건으로 삼아 오디오를 재생성하는 파이프라인을 제안한다. 계층적 음량 특징과 상세‑시간 마스킹을 활용한 데이터 증강, 편집 난이도에 따라 원본 오디오의 영향을 자동 조절하는 어댑티브 컨디셔닝을 도입해 텍스트 충실도와 시각‑청각 정렬, 원본 구조 보존을 동시에 달성한다. 실험 결과는 기존 저프레임 레이트 방식보다 높은 프레임 레이트(20 fps)에서도 우수한 정렬과 내용 일관성을 보여준다.

상세 분석

이 연구는 “오디오‑비주얼 편집”이라는 새로운 작업 정의에서 출발한다. 기존 방법은 영상과 오디오를 별도로 편집하거나, 저프레임 비디오에만 적용 가능한 공동 생성 모델에 의존해 시각‑청각 일관성이 떨어지는 문제가 있었다. 저자는 먼저 최신 고프레임 비디오 편집기(VACE 등)를 이용해 목표 영상을 만든 뒤, 그 영상에 맞춰 오디오를 재생성하는 두 단계 접근법을 제시한다. 핵심은 기존 비디오‑투‑오디오 생성 모델(MMAudio)을 조건부 오디오 입력으로 확장한 점이다.

1. 계층적 음향 특징 설계

   • 원본 오디오에서 프레임‑별 음량(loudness)을 추출하고, 주파수 대역을 재귀적으로 두 개씩 나누어 다중 레벨(코스→파인) 특징을 만든다.
   • 이러한 통계적 특징은 의미 변화에 강인하면서도 구조 정보를 충분히 전달한다는 장점이 있다.
   • 마스크 (m_l) 를 이용해 원하는 레벨 이상의 세부 정보를 차단함으로써 “detail‑temporal masking”이라는 데이터 증강을 수행한다. 이는 모델이 다양한 수준의 구조 보존을 학습하도록 돕는다.

2. Flow‑Matching 기반 생성 프레임워크

   • 시간‑종속 속도장(velocity field)을 학습해 ODE를 풀어 목표 오디오를 샘플링한다.
   • 조건 입력 (C) 에 텍스트, 영상, 그리고 위에서 만든 음향 특징을 모두 포함시켜, 클래스‑프리 가이던스 방식으로 텍스트 충실도와 영상 정렬을 조절한다.

3. 모델 구조와 모듈화

   • 기본 MMAudio는 멀티모달 트랜스포머와 오디오‑전용 DiT 블록으로 구성된다.
   • 두 가지 추가 모듈을 도입한다. 첫째, Audio Latent Modulation: 음향 특징을 선형 보간·투영 후 오디오 라텐트에 직접 더한다. 둘째, Syncformer Modulation: 영상‑오디오 동기화 모듈인 Syncformer의 프레임‑별 특징에 동일한 음향 특징을 주입한다. 두 모듈은 초기에는 항등 함수가 되도록 초기화하고, 학습 초반에는 고정한 뒤 후반에 학습 가능하게 하는 두 단계 훈련 전략을 사용한다. 이는 모델이 텍스트·영상 조건에 과도히 의존하는 것을 방지한다.

4. 어댑티브 컨디셔닝

   • 편집 난이도를 “Editability Score”로 정량화한다. 이는 원본 오디오와 목표 영상 사이의 의미적 유사도(예: CLIP‑ 기반 텍스트‑영상 매칭)로 측정된다.
   • 점수가 낮을수록(큰 편집) 원본 음향 특징의 마스크를 강하게 적용해 구조 보존을 최소화하고, 점수가 높을수록 원본 구조를 많이 유지한다.

5. 실험 및 평가

   • 20 fps 영상에 대해 기존 저프레임(1‑4 fps) 방식과 비교했을 때, Audio‑Visual Alignment (AVA) 점수와 Structure Preservation (SP) 점수 모두 크게 향상되었다.
   • 인간 평가에서도 텍스트 충실도와 자연스러움에서 유의미한 우위를 보였으며, 특히 배경 소음 연속성 유지에 강점을 보였다.

전체적으로 이 논문은 조건부 흐름 매칭이라는 강력한 생성 메커니즘에 계층적 통계적 음향 특징과 어댑티브 마스킹을 결합함으로써, 고프레임 비디오 편집 환경에서도 일관된 오디오‑비주얼 결과물을 얻을 수 있음을 입증한다.