음악 악기 트랜지언트 합성을 위한 순환 신경망 조건화

초록

본 논문은 피치·볼륨·악기 ID를 입력으로 받아 다음 오디오 샘플을 예측하는 순환 신경망(RNN)을 훈련시킨다. 학습 후에는 이전 출력이 입력으로 순환되면서 외부 파라미터를 실시간으로 조작해 악기로 사용할 수 있다. 특히 두 개의 합성 악기에 대해 시작·종료 시의 짧은 전이(트랜지언트) 특성을 학습하고, 새로운 파라미터 조합에 대해 중간값을 보간하는 능력을 확인하였다. 숨겨진 유닛들의 활성화 패턴을 시각화한 결과, 볼륨에 민감한 다양한 응답 형태가 존재함을 밝혔다.

상세 분석

이 연구는 기존의 오디오 샘플 기반 신경망 모델에 제어 파라미터를 직접 결합함으로써, 생성 단계에서 사용자가 실시간으로 악기의 피치, 볼륨, 그리고 악기 종류를 조작할 수 있는 인터페이스를 제공한다. 네트워크는 1‑차원 오디오 샘플과 3개의 연속형 제어값(피치, 볼륨, 악기 ID)을 동시에 입력받아, 다음 시점의 샘플을 예측하도록 학습되었다. 모델 구조는 2개의 GRU 레이어(각 256 유닛)와 선형 출력층으로 구성되었으며, 손실 함수는 평균 제곱 오차(MSE)를 사용하였다. 훈련 데이터는 두 종류의 합성 악기(예: 사인파 기반의 부드러운 어택과 사각파 기반의 급격한 어택)를 각각 5초 길이의 파형으로 만든 뒤, 다양한 피치와 볼륨 조합을 랜덤하게 적용해 생성하였다.

트랜지언트 학습에 있어 핵심은 “시작·종료 시점의 제어 신호 변화”를 네트워크가 어떻게 내부 상태에 반영하는가이다. 실험 결과, 네트워크는 각 악기의 고유한 어택·리리즈 곡선을 정확히 재현했으며, 제어 파라미터를 중간값으로 설정했을 때 두 악기의 특성을 선형적으로 보간한 새로운 트랜지언트를 생성했다. 이는 RNN이 시간 의존적 특성을 학습하면서도 연속적인 제어 공간을 매끄럽게 탐색할 수 있음을 의미한다.

숨겨진 유닛 분석에서는 특정 유닛이 볼륨 값에 강하게 반응하고, 다른 유닛은 피치 변화에 민감하게 활성화되는 등, 파라미터별 특화된 내부 표현이 형성됨을 확인했다. 특히 어택 구간에서는 몇몇 유닛이 급격히 상승하는 반면, 리리즈 구간에서는 완만하게 감소하는 패턴을 보였으며, 이는 인간 청각이 인식하는 “시작·종료 감각”과 유사한 신경 동역학을 모델이 자체적으로 구축했음을 시사한다.

한계점으로는 훈련에 사용된 악기가 제한적이며, 실제 악기와의 물리적 비선형성(예: 포화, 비선형 왜곡)을 충분히 포괄하지 못한다는 점을 들 수 있다. 향후 연구에서는 더 다양한 음색과 복합적인 다중 채널 입력을 도입하고, 변분 오토인코더와 결합해 보다 풍부한 표현을 학습하는 방향을 제안한다.