멀티모달 음악 생성의 현재와 미래: 단일·교차·다중 모달리티 탐구

초록

**
본 논문은 텍스트·이미지·비디오 등 다양한 외부 모달리티와 악보·오디오라는 내부 모달리티를 결합한 멀티모달 음악 생성 연구를 체계적으로 정리한다. 단일 모달, 교차 모달, 다중 모달 접근을 구분하고, 각 모달리티의 표현 방식, 정렬 기법, 통합 방법을 살펴본다. 주요 데이터셋·평가 지표와 현재 직면한 과제(통합 효율성·대규모 데이터·평가 체계)도 제시하며, 창의성·효율성·정렬·평가 개선을 위한 향후 연구 방향을 제시한다.

**

상세 분석

**
이 논문은 멀티모달 음악 생성이라는 신흥 분야를 ‘단일‑교차‑다중 모달’이라는 3단계 프레임워크로 재구성한다. 단일 모달은 기존의 심볼릭(악보) 혹은 오디오 기반 생성 모델을 의미하며, 여기서는 시퀀스‑투‑시퀀스, VAE, GAN, Diffusion 등 다양한 생성 기법이 어떻게 적용되는지를 정리한다. 교차 모달은 텍스트→음악, 가사→멜로디, 이미지→음악 등 하나의 외부 모달리티가 직접 음악을 유도하는 경우이며, 주요 기술로는 텍스트 인코더(BERT, T5, FLAN‑T5)와 교차‑어텐션, 컨캐터네이션, 조건부 디코더가 활용된다. 다중 모달은 두 개 이상의 외부 모달리티를 동시에 활용해 음악을 제어·생성하는 최신 흐름으로, 멀티모달 피처 추출(예: ViT, CNN, 3D‑CNN), 공통 임베딩 공간 구축(Contrastive 학습 기반 CLIP‑계열, AudioCLIP), 그리고 교차‑어텐션·공동 임베딩·맵핑 등 다양한 융합 전략을 제시한다.

특히 논문은 ‘모달리티 간 격차’를 강조한다. 오디오와 심볼릭 음악은 각각 파형·스펙트로그램, 이벤트·피아노 롤 등 전혀 다른 데이터 구조를 가지며, 이를 동일한 모델에 투입하려면 양쪽을 각각 압축·양자화(VQ‑VAE, RVQ, EnCodec)하거나, 별도 사전학습된 인코더(MERT, Music2Vec)로 변환해야 한다. 이러한 전처리 단계가 멀티모달 정렬(텍스트‑오디오, 이미지‑음악 등)의 정확도와 최종 생성 품질에 결정적인 영향을 미친다.

데이터셋 측면에서는 MusicCaps, AudioSet‑Music, LMD(리듬·멜로디 데이터), VGGSound‑Music 등 멀티모달 라벨이 포함된 대규모 컬렉션을 정리하고, 라벨링 비용·다양성·도메인 편향 문제를 지적한다. 평가 방법은 객관적 메트릭(프리시전·리콜·BLEU, FAD, Pitch‑Accuracy)과 주관적 청취 테스트(Mean Opinion Score, A/B 테스트)를 조합하지만, 멀티모달 조건부 생성의 ‘일관성’·‘창의성’·‘감정 전달’ 등을 포괄적으로 측정할 수 있는 통합 지표가 부재함을 강조한다.

마지막으로 논문은 향후 연구 과제로 (1) 멀티모달 정렬을 위한 대규모 교차‑모달 사전학습 모델(예: 멀티모달 GPT‑4o 수준) 개발, (2) 효율적인 압축·양자화 기법을 통한 실시간 생성, (3) 창의적·감정적 평가를 포함한 다차원 평가 프레임워크 구축, (4) 인간‑AI 협업을 위한 인터랙티브 인터페이스와 제어 파라미터 설계 등을 제시한다. 전체적으로 이 리뷰는 멀티모달 음악 생성 연구의 현주소를 명확히 파악하고, 학계·산업이 직면한 기술·데이터·평가 격차를 체계적으로 정리함으로써 향후 연구 로드맵을 제시한다.

**