멀티스케일 대비·생성 사전학습으로 강화된 오디오‑비디오 정합 모델 GMS‑CAVP

초록

GMS‑CAVP는 비디오와 오디오의 다중 스케일 특성을 동시에 활용하는 대비·생성 통합 사전학습 프레임워크이다. 다중‑스케일 대비 손실로 각 해상도·시간축에서 정밀한 교차‑모달 정합을 유도하고, 다중‑스케일 공간‑시간 확산 모델을 통해 비디오‑조건부 오디오 합성을 수행한다. VGGSound, AudioSet, Panda70M 등 대규모 데이터에서 기존 CAVP 기반 방법들을 크게 앞서며, KLD·FAD·Align Acc 등 생성 품질 지표와 R@k 회수 지표 모두에서 최고 성능을 기록한다.

상세 분석

본 논문은 기존 CAVP(Contrastive Audio‑Video Pretraining) 접근법이 전역 특징에만 의존해 미세한 시공간 상관관계를 놓치는 문제점을 정확히 짚어낸다. 이를 해결하기 위해 제안된 GMS‑CAVP는 두 가지 핵심 모듈로 구성된다. 첫 번째는 Multi‑scale Spatial‑Temporal Alignment(MSA)로, 비디오와 오디오를 여러 해상도·시간 스케일(L = 1…L)로 풀어낸 뒤 각 스케일별 InfoNCE 손실을 동시에 최적화한다. 여기서 temporal attention 기반 가중치 wₜ를 도입해 중요한 순간에 더 큰 정합 압력을 부여함으로써 잡음 구간의 영향을 억제한다. 두 번째는 Multi‑scale Spatial‑Temporal Diffusion(MSD)이다. 확산 디코더는 계층적 노이즈 스케줄을 따라 오디오 라티스(A₀)를 점진적으로 복원하는데, 각 단계마다 다중 스케일 비디오 특징 Fᵥ^{multi}를 조건으로 제공한다. 이렇게 하면 고해상도 움직임은 짧은 시간 창에서, 저해상도 장면 전환은 긴 시간 창에서 각각 반영되어, 생성된 오디오가 시각적 변화와 정확히 동기화된다. 실험 결과는 두 모듈이 상호 보완적임을 보여준다. MSA만 적용해도 정합 정확도(Align Acc)가 82 % 수준으로 크게 상승하고, MSD만 적용해도 KLD와 FAD가 현저히 감소한다. 두 모듈을 모두 결합했을 때는 KLD 1.63, FAD 0.75, Align Acc 95.87%라는 거의 최적에 가까운 수치를 달성한다. 또한, 대규모 데이터(Panda70M)와의 결합 학습이 성능을 추가로 끌어올리는 점은 모델이 데이터 규모에 민감하게 반응한다는 점을 시사한다. 한편, 논문은 확산 단계 수, 양방향 학습 간격, 스케일 수 등에 대한 상세한 Ablation을 제공해 설계 선택의 근거를 충분히 제시한다. 다만, 현재 구현은 224×224 영상과 128×128 멜‑스펙트로그램에 국한돼 있어 고해상도 비디오·오디오에 대한 확장성 검증이 부족하고, 실시간 응용을 위한 추론 비용 분석이 누락된 점은 향후 연구 과제로 남는다.