바흐투바흐 딥러닝 기반 음악 생성

초록

본 논문은 과거 정보를 효과적으로 기억하고 음악 구조를 파악할 수 있는 모델을 목표로, 바이-액시얼 LSTM과 DQN 기반 심층 강화학습을 결합한 음악 생성 시스템을 제안한다. 합성된 폴리포닉 음악은 음악 이론 규칙을 따르며, 정량·정성 평가에서 기존 모델 대비 향상된 전역적 일관성을 보인다.

상세 분석

이 연구는 음악 생성 모델이 직면한 두 가지 핵심 과제, 즉 장기 의존성 보존과 전역 구조의 일관성 확보를 동시에 해결하려는 시도로 평가된다. 먼저 저자는 바이-액시얼 LSTM(Bi‑axial LSTM) 구조를 도입한다. 기존의 단일 시계열 LSTM은 시간 축에만 의존해 멜로디 라인의 연속성을 학습하지만, 화성(하모니)과 같은 다중 음성(voice) 간 상호작용을 충분히 포착하지 못한다. 바이-액시얼 LSTM은 시간 축과 음성 축을 각각 독립적인 LSTM 레이어로 처리하고, 두 축의 출력을 결합함으로써 “시간‑음성” 2차원 토폴로지를 학습한다. 이때 pseudo‑kernel을 사용해 마치 2D 컨볼루션처럼 인접한 시간·음성 셀 간의 국소 상관관계를 강화한다. 이러한 설계는 음악의 리듬 패턴, 화성 진행, 그리고 멜로디 라인의 동시 변화를 효과적으로 모델링한다는 점에서 의미가 크다.

두 번째 핵심은 강화학습(DQN, Deep Q‑Network) 모듈을 통한 전역적 규칙 강화이다. 기존 LSTM 기반 생성기는 손실 함수에 음악 이론 규칙을 직접 삽입하기 어려워, 생성된 시퀀스가 국소적으로는 타당하지만 전체 곡 구조에서는 불협화음이나 비정형적인 전개를 보이는 경우가 많다. 이를 해결하기 위해 저자는 생성된 음표 시퀀스를 환경(state)으로 보고, “음악적 일관성”, “조성 유지”, “리듬 패턴 지속” 등을 보상으로 정의한 후 Q‑learning을 적용한다. DQN은 현재 정책(생성 모델)에서 선택한 액션(다음 음표)과 미래 보상의 기대값을 평가해, 장기적인 음악적 목표를 반영하도록 정책을 업데이트한다. 특히 경험 재플레이와 타깃 네트워크를 도입해 학습 안정성을 확보했으며, ε‑greedy 탐색을 통해 초기에 다양한 멜로디를 탐색하도록 설계했다.

실험에서는 두 가지 평가 방식을 사용한다. 정량적 평가는 음악 이론 기반 지표(예: 조성 일관성, 화성 진행 규칙 위반 횟수, 리듬 다양성)와 통계적 유사도(예: Pitch Class Distribution, Interval Histogram)를 통해 기존 MusicVAE, DeepBach 등과 비교했다. 정성적 평가는 음악 전문가와 일반 청취자를 대상으로 설문조사를 진행해 “음악적 흥미”, “구조적 일관성”, “감정 전달력”을 평가했다. 결과는 강화학습을 적용한 모델이 특히 전역적 일관성 점수와 청취자 만족도에서 유의미하게 높은 점수를 기록했음을 보여준다. 또한, DQN을 사용하지 않은 베이스라인 모델과 비교했을 때, 생성된 곡의 조성 전환이 자연스럽고, 반복적인 패턴이 과도하게 나타나지 않았다.

한계점으로는 보상 설계가 주관적이라는 점과, DQN의 학습 비용이 매우 높아 실시간 생성에는 부적합하다는 점을 들 수 있다. 또한, 현재 구현은 4‑voice(바순, 알토, 테너, 베이스) 클래식 폴리포니에 초점을 맞추었으며, 현대 팝이나 전자음악 등 다른 장르에 대한 일반화는 검증되지 않았다. 향후 연구에서는 멀티‑에이전트 강화학습을 도입해 각 음성별 정책을 별도로 학습하거나, 메타‑리워드 학습을 통해 보상 함수를 자동 최적화하는 방안을 모색할 수 있다. 전반적으로 이 논문은 음악 생성 분야에서 심층 강화학습을 실용적으로 적용한 첫 사례 중 하나로, 장기 의존성 모델링과 전역 규칙 강화라는 두 축을 동시에 만족시키는 설계가 학계와 산업계 모두에 중요한 인사이트를 제공한다.