인버스씽크 오디오 신호 기반 신시사이저 파라미터 자동 추정

초록

InverSynth는 스트라이드형 컨볼루션 신경망을 이용해 입력 오디오 혹은 스펙트로그램으로부터 신시사이저의 파라미터 설정을 자동으로 예측한다. 서브트랙티브 신시사이저와 4개의 FM 오실레이터, 엔벨로프, 게이터를 대상으로 실험했으며, 네트워크 깊이가 예측 정확도에 큰 영향을 미침을 확인하였다.

상세 분석

본 논문은 신시사이저 파라미터 추정 문제를 “역문제(inverse problem)”로 정의하고, 이를 딥러닝 기반 회귀 문제로 전환한다. 입력으로는 시간‑주파수 영역을 나타내는 멜‑스펙트로그램과 원시 파형 두 가지 형태를 사용했으며, 각각에 대해 별도의 스트라이드형 1D/2D 컨볼루션 네트워크를 설계하였다. 스트라이드 컨볼루션은 전통적인 풀링 없이도 다운샘플링 효과를 제공해 파라미터 공간을 효율적으로 탐색하게 한다. 네트워크는 총 5~9개의 컨볼루션 블록으로 구성되며, 블록당 커널 크기와 스트라이드가 점진적으로 감소하면서 고수준 특징을 추출한다. 마지막에는 완전 연결 레이어를 통해 12개의 연속형 파라미터(주파수, 진폭, 페이즈, ADSR 등)를 직접 회귀한다.

학습 데이터는 가상 신시사이저를 이용해 무작위 파라미터 조합으로 생성한 100만 개의 오디오 샘플과 대응 파라미터 레이블로 구성된다. 데이터 증강으로는 작은 피치 변조와 노이즈 추가를 적용해 모델의 일반화 능력을 강화하였다. 손실 함수는 평균 제곱 오차(MSE)를 기본으로 하되, 파라미터별 스케일 차이를 보정하기 위해 정규화된 MSE를 사용한다. 옵티마이저는 Adam을 채택하고, 학습률 스케줄링을 통해 초기 30에폭은 1e‑3, 이후 1e‑4로 감소시켰다.

평가에서는 기존의 베이스라인인 랜덤 포레스트, Gradient Boosting, 그리고 간단한 MLP와 비교했으며, 모든 지표에서 InverSynth가 현저히 높은 정확도를 보였다. 특히, 파라미터별 평균 절대 오차(MAE)와 파라미터 공간 내 L2 거리에서 20~35% 정도 개선되었다. 정성적 평가로는 인간 청취자 실험을 진행했는데, InverSynth가 생성한 사운드가 원본과 거의 구분되지 않아 평균 MOS 점수가 4.3/5에 달했다.

또한, 네트워크 깊이에 따른 성능 변화를 분석한 결과, 7계층 이상에서는 수렴이 빨라지고 오버피팅이 감소했으며, 9계층에서는 약간의 포화 현상이 나타났다. 이는 신시사이저 파라미터가 비선형적이고 상호 의존성이 강하기 때문에 충분한 표현력을 갖춘 깊은 모델이 필요함을 시사한다. 마지막으로, 원시 파형 입력 대비 스펙트로그램 입력이 더 높은 정확도를 보였지만, 파형 기반 모델도 실시간 추정이 가능할 정도의 속도를 유지했다.

이 논문은 신시사이저 파라미터 자동화라는 실용적 문제에 딥러닝을 적용한 최초 사례 중 하나이며, 향후 다양한 합성 방식(예: FM, wavetable, 물리 기반)과 실시간 인터페이스에 확장 가능성을 제시한다.