쿼리 기반 딥 즉흥 연주와 비트 할당을 이용한 음악 생성 제어

초록

**
본 논문은 사전 학습된 변분 오토인코더(VAE)를 활용해, 스타일이 다른 입력 쿼리를 통해 새로운 음악을 생성하는 방법을 제안한다. 인코더와 디코더 사이에 비트 할당 기반의 잡음 채널을 삽입함으로써, 잠재 공간의 정보 전송률을 정량적으로 제어하고, 쿼리와 학습된 스타일 간의 블렌딩 정도를 조절한다. 실험에서는 팝 음악 데이터셋으로 학습된 VAE에 애니메이션 MIDI를 쿼리로 사용해, 비트 레이트에 따라 조화와 구조가 어떻게 변하는지를 분석하였다.

**

상세 분석

**
이 연구는 변분 오토인코더(VAE)의 ELBO(증거 하한) 최적화 과정을 정보 이론의 레이트‑디스토션(framework)과 연결시켜, 잠재 변수 Z와 입력 X 사이의 상호 정보 I(X,Z)를 명시적으로 제어할 수 있는 방법을 제시한다. 기존 VAE에서는 KL 발산과 재구성 손실 사이의 가중치 β를 조정해 정보 흐름을 조절하지만, 본 논문은 사전 학습된 모델을 그대로 유지하면서 인코더와 디코더 사이에 인위적인 잡음 채널을 삽입한다는 점에서 차별화된다. 이 채널은 다변량 가우시안 잠재 변수에 대해 비트 할당(bit‑allocation) 알고리즘을 적용해, 각 차원별로 할당 가능한 비트를 순차적으로 배분하고, 할당되지 않은 차원은 평균값만 전달하도록 설계된다. 수식 (5)–(8)에서 제시된 바와 같이, 비트 레이트 R에 따라 평균 μ_d와 분산 σ²_d가 변형되며, R이 0에 가까울수록 디코더는 평균값만 받게 되어 정보 손실이 극대화되고, R이 무한대에 가까울수록 원본 인코더 출력이 그대로 전달된다.

실험에서는 126개의 팝 음악 클립으로 학습된 VAE에, 스타일이 다른 ‘Naruto Shippuden’ MIDI 파일을 쿼리로 입력하였다. 비트 레이트를 256비트/프레임으로 제한했을 때, 생성된 음악은 원본 쿼리의 화성 진행을 대체하거나 왜곡하는 현상이 관찰되었다. 특히, G‑A‑D 진행이 쿼리의 D 화음과 충돌하면서 새로운 조화적 텍스처를 형성했으며, 비트 레이트가 더 낮아질수록 전체적으로 C키 중심의 단순화된 진행으로 수렴하는 경향을 보였다.

또한, 음악 정보 역학(MID) 관점에서 Information Rate(IR)를 VMO(Variable Markov Oracle) 알고리즘을 이용해 정량화하였다. IR은 현재 프레임과 과거 프레임 사이의 상호 정보량을 최대화하는 양자화 수준을 탐색함으로써 계산되며, 비트 레이트가 감소함에 따라 IR 곡선이 낮아지는 동시에 반복 구조가 감소하는 것이 확인되었다. 이는 잡음 채널이 잠재 공간의 예측 가능성을 감소시켜, 생성 음악이 더 ‘불확실’하지만 동시에 구조적 일관성이 약해짐을 의미한다.

이러한 결과는 두 가지 중요한 시사점을 제공한다. 첫째, 사전 학습된 VAE의 잠재 표현을 외부에서 제어함으로써, 사용자 의도에 따라 스타일 블렌딩 정도를 정밀하게 조절할 수 있다. 둘째, 레이트‑디스토션 이론을 기반으로 한 비트 할당은 기존 β‑VAE와 달리 학습 단계가 아닌 생성 단계에서 정보 흐름을 직접 다루므로, 기존 모델의 재학습 없이도 다양한 창작 시나리오에 적용 가능하다. 다만, 현재 구현은 가우시안 잠재 변수와 선형 비트 할당에 국한되어 있어, 보다 복잡한 비선형 변환이나 비가우시안 분포에 대한 확장 연구가 필요하다.

**