음악 녹음의 블라인드 소스 분리를 위한 희소 추적과 딕셔너리 학습

본 논문은 단일 채널(모노) 음악 녹음에서 악기별 신호를 블라인드하게 분리하는 새로운 방법론을 제시한다. 연구는 크게 네 부분으로 구성된다. 첫 번째 부분에서는 기존 STFT 기반 스펙트로그램이 피치에 따라 주파수 간격이 선형적으로 변하는 문제점을 지적한다. 이를 해결하기 위해, 저자들은 ‘희소 추적(sparse pursuit)’ 알고리즘을 설계한다. 이 알고리즘은 연속적인 비음수 패턴(가우시안 형태의 피크)과 실제 STFT magnitude를 매칭시켜, 각 시간 프레임마다 제한된 수의 피크(위치, 진폭, 폭)를 추출한다. 기존 OMP와 달리 비선형 최적화 단계를 포함해 연속적인 주파수 파라미터를 직접 조정함으로써, 전통적인 이산 컨볼루션 기반 방법보다 높은 주파수 해상도를 달성한다. 두 번째 단계에서는 추출된 피크들을 로그‑주파수 축으로 재배치한다. 로그 축은 옥타브 간 비율을 일정하게 유지하므로, 동일 악기의 서로 다른 음높이가 동일한 조화 구조로 표현된다. 이렇게 얻어진 로그‑주파수 스펙트로그램은 ‘피치‑불변(log‑frequency)’ 특성을 가지며, 이후 딕셔너리 학습 및 분리 단계에서 핵심적인 역할을 한다. 세 번째 단계에서는 피치‑불변 딕셔너리를 학습한다. 딕셔너리의 각 원소는 특정 악기의 조화 스펙트럼을 나타내며, 상대적인 조화 진폭 비율만을 저장한다. 따라서 피치가 변해도 같은 딕셔너리를 재사용할 수 있다. 딕셔너리 학습은 수정된 Adam 옵티마이저를 사용한다. 여기서는 파라미터 스케일을 보존하고, 일정 주기마다 사전 정의된 원소를 재초기화하는 전략을 도입해, 비선형 최적화 과정에서 발생할 수 있는 초기값 의존성을 완화한다. 학습은 교번(alternating) 방식으로 진행되는데, 현재 딕셔너리를 이용해 로그‑주파수 스펙트로그램에서 희소 추적을 수행해 각 시간 프레임의 피치와 조화 구조를 추정하고, 그 결과를 바탕으로 딕셔너리를 업데이트한다. 이때 희소성 제약은 동시에 활성화될 수 있는 음의 수와 악기 종류를 제한함으로써, 과도한 자유도를 억제하고 의미 있는 해를 유도한다. 네 번째 단계에서는 학습된 딕셔너리를 이용해 전체 스펙트로그램에 대해 희소 추적을 수행하고, 각 악기별 마스크를 생성한다. 원본 STFT의 위상 정보를 그대로 사용해 Griffin‑Lim 알고리즘을 적용, 마스크된 스펙트로그램을 다시 시간 도메인 신호로 복원한다. 실험에서는 다양한 악기(바이올린, 플루트, 피아노 등)와 다중 폴리포닉 상황을 테스트하였다. 모델 가정(조화 구조가 안정적이고, 인하모닉성이 제한적임)이 충족될 경우, SDR, SIR, SAR 등 표준 BSS 평가 지표에서 기존 NMF 기반 방법이나 CQT‑TensorFactorization 대비 현저히 높은 성능을 기록했다. 특히, 피치‑불변 특성 덕분에 동일 악기의 다른 음높이에 대해 별도 학습 없이도 높은 품질의 분리를 달성했다. 반면, 스펙트럼 특성이 유사한 악기(예: 바이올린과 첼로) 혹은 강한 인하모닉성을 보이는 악기(파이프 오르간)에서는 딕셔너리 구분이 어려워 성능 저하가 관찰되었다. 또한 인하모닉성을 모델에 포함했음에도 불구하고, 실제 녹음에서의 비선형 왜곡이나 피크 폭 변화가 희소 추적 단계에서 매칭 오류를 일으킬 수 있음을 지적한다. 추가 실험으로, 한 녹음에서 학습된 딕셔너리를 다른 녹음에 그대로 적용했을 때도 비슷한 악기 구성이면 만족스러운 분리 결과를 얻을 수 있음을 확인하였다. 이는 딕셔너리가 악기의 고유 조화 비율을 효과적으로 캡처하고, 피치‑불변 특성 덕분에 새로운 음높이에 자동으로 일반화됨을 의미한다. 결론적으로, 이 논문은 (1) 연속적인 피크 매칭을 통한 고해상도 로그‑주파수 스펙트로그램 생성, (2) 피치‑불변 딕셔너리와 희소 추적을 결합한 블라인드 소스 분리 프레임워크, (3) Adam 기반 딕셔너리 학습의 안정화 기법이라는 세 가지 핵심 기여를 제시한다. 제한된 하이퍼파라미터와 비교적 간단한 구현에도 불구하고, 전통적인 딥러닝 기반 감독 학습 방법에 비해 데이터 의존도가 낮으며, 특히 악보나 라벨이 없는 실제 녹음 환경에서 유용하게 적용될 수 있다. 다만, 악기 간 스펙트럼 유사성 및 강한 인하모닉성에 대한 추가적인 모델링이 향후 연구 과제로 남는다.