음악 음색 변환을 위한 TimbreTron 파이프라인

본 논문은 “음악 음색 전환”이라는 문제를 정의하고, 기존 이미지 스타일 전송 기법을 직접 오디오에 적용하는 데 따르는 두 가지 주요 난관—(1) 음색을 독립적으로 조작할 수 있는 적절한 시간‑주파수 표현의 부재, (2) 변환된 스펙트로그램을 고품질 파형으로 복원하는 어려움—을 해결한다. 이를 위해 저자들은 TimbreTron이라는 3‑단계 파이프라인을 설계하였다. 첫 번째 단계는 입력 오디오를 Constant‑Q Transform(CQT)으로 변환하는 것이다. CQT는 주파수를 로그 스케일로 배치해 인간 청각의 옥타브 구조를 반영하고, 저주파에서는 높은 주파수 해상도, 고주파에서는 높은 시간 해상도를 제공한다. 특히, 악기의 고유한 배음 구조가 피치 변화에 따라 거의 수직 이동으로 나타나기 때문에, 컨볼루션 신경망이 피치 변동에 대해 거의 equivariant하게 동작한다. 이는 이미지 스타일 전송에서 “텍스처”(음색)를 학습하면서도 피치 정보를 보존할 수 있게 한다. 논문은 CQT의 로그‑멕시멈값만을 사용해 위상 정보를 버리고, 이후 단계에 위상 복원을 맡긴다. 두 번째 단계에서는 비지도 이미지‑투‑이미지 변환 모델인 CycleGAN을 적용한다. 저자는 CycleGAN을 그대로 쓰는 것이 아니라, (a) 디컨볼루션 대신 nearest‑neighbor 보간 후 일반 컨볼루션을 사용해 체커보드 아티팩트를 제거하고, (b) 전체 스펙트로그램을 입력으로 하는 판별기를 도입해 전역 구조와 고주파 디테일을 동시에 평가하도록 설계하였다. 또한, CQT 스펙트로그램을 16 ms 프레임 홉(256 샘플)으로 샘플링하고, 필요 시 nearest‑neighbor 보간으로 오디오 샘플링 레이트에 맞게 업샘플링한다. 이렇게 학습된 두 개의 생성기(F: X→Y, G: Y→X)는 각각 악기 A에서 악기 B로, 그 반대로 변환한다. 사이클 일관성 손실(L1)과 적대적 손실을 동시에 최소화함으로써 변환된 스펙트로그램이 원본의 음악적 구조를 유지하도록 강제한다. 세 번째 단계는 조건부 WaveNet이다. WaveNet은 40‑layer dilated residual 구조를 갖으며, 입력으로 변환된 로그‑CQT와 이전 샘플을 받아 다음 샘플을 확률적으로 예측한다. 위상 정보가 없기 때문에 WaveNet이 직접 위상을 생성한다. 저자는 WaveNet이 종종 저확률 오류(예: 잘못된 노트, 볼륨 급변)를 만들 수 있음을 관찰하고, 이를 보완하기 위해 빔 서치를 도입하였다. 빔 서치는 여러 후보 파형을 동시에 생성하고, 목표 CQT와 가장 일치하는 후보를 선택한다. 또한, 악기 어택이 정확히 재현되지 않는 문제를 해결하기 위해 파형을 역방향(끝에서 시작)으로 생성하도록 설계하였다. 이러한 전략은 어택의 과다/미생성을 크게 감소시켰다. 실험에서는 바이올린→플루트, 피아노→첼로, 피아노→바이올린 등 다양한 악기 쌍에 대해 인간 청취 평가를 수행하였다. 평가 항목은 (1) 변환된 음색이 목표 악기와 일치하는 정도, (2) 원본 피치·리듬·볼륨 유지 정도, (3) 전반적인 음질이다. 결과는 TimbreTron이 음색을 성공적으로 교체하면서도 음악적 내용은 거의 손실되지 않음을 보여준다. 특히, 동일한 실험을 STFT 기반 파이프라인과 비교했을 때, CQT 기반이 더 자연스러운 음색 전환과 적은 잡음·아티팩트를 제공한다는 것이 확인되었다. 논문의 주요 기여는 다음과 같다. 첫째, 음악에 특화된 피치‑equivariant 특성을 가진 CQT를 이미지 스타일 전송에 적용함으로써 음색과 피치를 분리한다. 둘째, CycleGAN 구조를 오디오 스펙트로그램에 맞게 최적화하고, 디컨볼루션 대신 보간‑컨볼루션을 사용해 시각적 아티팩트를 제거한다. 셋째, 위상 복원을 WaveNet에 위임하고, 빔 서치와 역방향 생성을 통해 파형 품질을 크게 향상시킨다. 이러한 설계는 악기 간 음색 변환뿐 아니라, 음악 편집, 사운드 디자인, 오디오 도메인 적대적 학습 등 다양한 응용 분야에 확장 가능성을 제공한다.