뮤직인퓨저: 비디오 생성 AI가 음악을 듣고 춤추는 법

초록

기존 텍스트-투-비디오 AI 모델을 효율적으로 조정해, 입력된 음악과 동기화된 고품질 댄스 비디오를 생성하는 ‘MusicInfuser’ 기술을 소개한다. 전문적인 춤 데이터가 부족한 환경에서도 사전 학습된 모델의 지식을 보존하며, 낮은 비용으로 빠르게 학습할 수 있다.

상세 분석

MusicInfuser의 핵심 기술적 혁신은 크게 세 가지로 요약된다. 첫째, ‘레이어별 적응성(Layer-wise Adaptability)’ 기준이다. 기존 모델의 모든 레이어에 음악 조건을 주입하는 것은 계산 비용이 크고, 오히려 모델의 기존 생성 능력을 해칠 수 있다. 이 논문은 특정 레이어를 제외한 모델의 출력을 ‘가이던스’로 사용하여, 해당 레이어가 비디오의 구조와 운동 품질에 미치는 긍정적 영향도를 정량화하는 새로운 기준을 제안한다. 이를 통해 음악 조건을 주입할 최적의 레이어 집합을 사전에 계산할 수 있어, 모든 조합을 실험하는 엄청난 비용을 절감하면서도 효과적인 레이어 선택이 가능해졌다.

둘째, ‘제로-초기화 크로스-어텐션(ZICA, Zero-Initialized Cross-Attention)’ 모듈이다. 새로운 조건(음악)을 처리하기 위해 기존 디퓨전 트랜스포머(DiT) 블록에 크로스-어텐션 블록을 삽입한다. 여기서 출력 투영(Output Projection) 행렬을 0으로 초기화함으로써, 학습 초기에는 이 모듈이 항등 함수처럼 동작하게 한다. 이는 음악 조건에 대한 학습이 점진적으로, 안정적으로 이루어지도록 보장하며, 무작위 초기화로 인한 학습 불안정성과 사전 지식의 급격한 손실을 방지한다.

셋째, ‘베타-유니폼 노이즈 스케줄링(Beta-Uniform Noise Scheduling)’ 전략이다. 일반적인 디퓨전 모델 학습은 모든 노이즈 레벨을 균일하게 샘플링한다. 반면, MusicInfuser는 학습 초기에는 낮은 노이즈 레벨(고주파 세부 정보)을 집중적으로 학습하는 베타 분포를 사용하다가, 점차 모든 노이즈 레벨을 균등하게 보는 유니폼 분포로 전환한다. 이는 사전 학습된 모델이 이미 잘 알고 있는 인간 운동의 기본 물리학(저주파, 구조적 정보)을 보존하면서, 음악에 반응하는 세부적인 춤 동작(고주파 정보)을 먼저 조정하도록 유도하는 효과적인 전략이다.

이러한 기술들의 조합은 제한된 전문 춤 데이터셋으로도 단일 GPU에서 하루 만에 학습을 완료할 수 있는 효율성을 실현했으며, 생성된 비디오는 음악의 박자와 스타일에 역동적으로 반응하는 다양하고 자연스러운 춤 동작을 보여준다. 핵심은 거대 데이터로 학습된 강력한 사전 모델의 지식을 최대한 보존하면서, 최소한의 조정으로 새로운 조건(음악)에 대한 정렬 능력만을 효율적으로 부여하는 데 있다.