진보적 생성적 적대 신경망 기반 이진 음악 생성

초록

본 논문은 점진적 학습 기법을 적용한 GAN에 결정론적 이진 뉴런을 결합해, 바, 시간, 피치, 트랙 네 차원으로 구성된 음악 텐서를 직접 생성하는 모델을 제안한다. 작은 시간·피치 범위에서 시작해 단계적으로 해상도를 높이며 학습 안정성과 수렴 속도를 개선하고, 마지막 레이어에서 이진 뉴런을 사용해 0‑1 형태의 악보 데이터를 얻는다. 실험 결과, 기존 모델 대비 음질·구조적 일관성이 향상되었으며, 생성된 음악은 MIDI‑like 형식으로 바로 활용 가능하다.

상세 분석

이 논문은 두 가지 핵심 기술을 융합한다. 첫 번째는 “Progressive Growing of GANs”(PGGAN)에서 영감을 얻은 점진적 학습 방식이다. 기존 GAN은 한 번에 고해상도 출력을 목표로 하다 보니, 판별자와 생성자 사이의 균형이 깨져 학습이 불안정해지는 경우가 많다. 저자들은 시간축(시간 단계)과 피치축(음 높이)의 해상도를 초기에는 매우 낮은 4×12 정도로 설정하고, 일정 에폭이 지나면 레이어를 추가해 4×96, 84 피치, 8 트랙까지 확장한다. 이 과정에서 각 단계마다 기존 파라미터를 고정하고 새로 추가된 레이어만 미세 조정함으로써, 네트워크가 점진적으로 복잡한 구조를 학습하도록 유도한다. 결과적으로 학습 초기에 큰 파라미터 공간을 탐색할 필요가 없어 수렴 속도가 빨라지고, 모드 붕괴 현상이 크게 감소한다.

두 번째 핵심은 “Deterministic Binary Neurons”(DBN)이다. 음악 생성에서 가장 중요한 요구사항 중 하나는 출력이 명확히 0 또는 1인 이진 형태여야 한다는 점이다. 기존 GAN은 시그모이드 혹은 tanh 활성화 함수를 사용해 0~1 사이의 연속값을 출력하고, 이를 사후 처리(임계값 적용)해야 한다. 그러나 연속값은 실제 악보와의 매핑 과정에서 불필요한 잡음을 유발한다. 저자들은 생성기 마지막 레이어에 DBN을 삽입해, 입력이 양수이면 1, 음수이면 0을 반환하도록 설계하였다. 이때 역전파는 Straight‑Through Estimator(STE)를 이용해 근사한다. 이렇게 하면 학습 단계부터 이진 제약을 강제하므로, 최종 출력이 바로 MIDI‑like 이벤트 행렬이 된다.

모델 구조는 크게 세 부분으로 나뉜다. (1) 시간‑피치‑트랙 4차원 텐서를 생성하는 컨볼루션 기반 생성기, (2) 동일 차원의 텐서를 입력받아 진위 여부를 판단하는 판별기, (3) 마지막에 삽입된 DBN 레이어. 생성기와 판별기 모두 Progressive Growing을 적용해, 각 단계마다 레이어 수와 필터 크기를 점진적으로 늘린다. 또한, 레이어 정규화로는 픽셀 정규화 대신 배치 정규화를 사용해 훈련 안정성을 높였다.

학습 데이터는 기존 공개 MIDI 데이터셋을 전처리해, 4마디(바) 단위, 96시간 단계(16분음표 6배 샘플링), 84개의 피치(표준 피아노 범위), 8개의 트랙(피아노, 베이스, 드럼 등)으로 변환한 4‑D 바이너리 매트릭스로 구성하였다. 손실 함수는 WGAN‑GP의 그래디언트 페널티를 채택해 판별기의 Lipschitz 연속성을 보장했으며, 생성기 손실에 추가로 이진 정규화 항을 넣어 DBN 출력이 과도하게 편향되지 않도록 했다.

실험에서는 (a) 기존 비점진적 GAN, (b) 점진적 GAN(이진 뉴런 미사용), (c) 제안 모델을 비교했다. 정량적 평가는 프리시전·리콜 기반의 “Note‑On/Off Accuracy”, 그리고 음악적 구조를 평가하는 “Tonality Consistency” 지표를 사용했다. 제안 모델은 특히 높은 리콜과 낮은 퍼플렉시티를 기록했으며, 청취자 설문에서도 멜로디와 리듬의 일관성이 가장 높게 평가되었다. 또한, 학습 시간은 비점진적 모델 대비 약 30% 감소했다.

한계점으로는 (1) 현재 4마디 길이로 제한된 생성 범위, (2) 트랙 수가 고정돼 있어 다중 악기 편곡에 확장성이 떨어짐, (3) DBN의 STE 근사로 인한 미세한 그래디언트 왜곡 가능성이 있다. 향후 연구에서는 가변 길이 시퀀스 모델링, 트랙 자동 확장, 그리고 보다 정교한 이진화 기법(예: Gumbel‑Softmax) 도입을 제안한다.

전반적으로 이 논문은 점진적 GAN 학습과 결정론적 이진 뉴런을 결합해, 음악 생성 분야에서 출력의 이진성, 학습 안정성, 그리고 효율성을 동시에 달성한 점이 큰 의의다.