커버곡 합성: 아날로지를 통한 스타일 전이

본 논문은 “커버곡 아날로지”라는 새로운 문제 정의에서 출발한다. 주어진 원곡 A와 그 커버 A′(다른 아티스트가 만든 동일 곡의 변형) 그리고 동일 아티스트가 만든 또 다른 곡 B가 있을 때, B를 A′와 같은 스타일로 변환한 곡 B′를 자동으로 합성하는 방법을 제시한다. 기존의 폴리포닉 스타일 전이 연구는 일반적으로 복잡한 악기·음색 매핑을 필요로 했으나, 커버곡 쌍이라는 강력한 제약을 이용해 문제를 크게 단순화한다. 1. **커버곡 정렬 및 동기화** - 비트 온셋을 추출하고, HPCP와 MFCC를 “early‑fusion” 방식으로 결합해 크로스‑유사도 행렬 D를 만든다. - D를 상위 3√(MN) 거리만 남기는 엄격한 이진화 B를 적용하고, Smith‑Waterman 알고리즘으로 최장 공통 서브시퀀스를 탐색한다. - 찾은 비트 경로 P에 따라 A′를 시간‑스트레칭해 A와 정확히 동일한 길이와 비트 위치를 갖도록 맞춘다. 2. **공동 2‑D NMF를 이용한 템플릿 학습** - 정렬된 A와 A′의 CQT(상수‑Q 변환) 스펙트로그램에 대해 K개의 시간‑주파수 템플릿 W₁, W₂와 공유 활성 행렬 H₁을 학습한다. - 2‑D 컨볼루션은 시간 축(τ)과 주파수 축(φ) 모두에서 이동을 허용해 피치 변화를 자연스럽게 모델링한다. - KL‑발산을 최소화하도록 설계된 업데이트 식(4‑6)을 300번 반복하고, GPU 가속을 통해 20초 길이의 오디오에 대해 약 30배 빠른 연산을 달성한다. - 결과적으로 W₁은 원곡 A의 악기별 필터, W₂는 커버 A′의 대응 필터를 나타내며, H₁은 각 악기의 시간적 활성도를 담는다. 3. **B의 트랙 분리 및 필터링** - B의 CQT를 고정된 W₁에 투영해 활성 행렬 H₂를 추정한다(식 10). - H₂와 W₁을 이용해 B를 K개의 트랙 B₁…Bₖ로 분리하고, 각 트랙의 스펙트럼을 소프트 마스크(식 11)로 추출한다. 4. **오디오 모자이싱을 통한 B′ 합성** - 직접 W₂·H₂ 로 복원하면 저해상도와 블러 현상이 발생하므로, Driedger의 “audio musaicing” 기법을 차용한다. - 각 Aₖ와 A′ₖ를 STFT로 변환하고, Aₖ의 스펙트럼을 피치‑시프트(±6 반음)한 사전 S_Aₖ에 저장한다. - Bₖ의 스펙트럼 |S_Bₖ|을 사전 |S_Aₖ|에 매핑해 최적의 오디오 그레인 행렬 Hₖ를 구한다(식 12). - 구해진 Hₖ를 이용해 A′ₖ의 그레인으로 Bₖ를 재구성하고, 모든 트랙을 합쳐 최종 B′를 만든다. 5. **실험 및 결과** - 마이클 잭슨의 “Bad”와 Alien Ant Farm의 “Smooth Criminal” 커버를 사용해, “Bad”를 Alien Ant Farm 스타일로 변환한 사례를 제시한다. - 시각적 스펙트로그램과 청취 테스트를 통해, B′가 원곡의 멜로디·리듬을 유지하면서 커버 특유의 왜곡된 드럼·기타 톤을 성공적으로 재현함을 확인한다. - 또한, K=2(퍼커시브·멜로디) 설정에서도 기존 하모닉/퍼커시브 분리 알고리즘보다 우수한 분리 품질을 보였다. 6. **한계 및 향후 과제** - 비트 정렬이 부정확하거나 원곡·커버 간 템포 차이가 클 경우 템플릿 학습이 불안정해질 수 있다. - 현재 구현은 20초 정도의 짧은 클립에 최적화돼 있어, 긴 곡 전체에 적용하려면 메모리 관리와 스트리밍 기법이 필요하다. - K값 선택이 자동화되지 않아 사용자가 직접 실험적으로 결정해야 하며, 다채널(스테레오) 처리와 실시간 적용 가능성도 아직 미탐색 상태이다. 결론적으로, 이 논문은 비트‑동기화, 공동 2‑D NMF, 그리고 오디오 모자이싱을 결합해 폴리포닉 음악 스타일 전이 문제를 실용적인 수준으로 해결한다. 커버곡 데이터가 충분히 확보된 상황에서, 자동화된 커버 생성 파이프라인으로서의 가능성을 보여준다.