파동‑유넷과 이산 웨이블릿을 결합한 시간 영역 오디오 소스 분리

초록

본 논문은 Wave‑U‑Net 구조의 다운‑샘플링·업‑샘플링 블록을 이산 웨이블릿 변환(DWT) 기반 레이어로 교체하여, 별도의 앨리어싱 방지 필터와 완전 복원 특성을 동시에 만족하도록 설계하였다. 실험 결과, 제안 모델은 기존 Wave‑U‑Net보다 파라미터가 절반 수준임에도 불구하고 모든 악기(베이스, 드럼, 보컬, 기타)에서 SDR 향상을 달성하였다.

상세 분석

Wave‑U‑Net은 U‑Net 형태의 인코더‑디코더 구조를 갖고, 시간 해상도를 절반으로 줄이는 다운‑샘플링(DS) 블록과 두 배로 늘리는 업‑샘플링(US) 블록을 순차적으로 쌓는다. 기존 DS 블록은 단순히 스트라이드가 2인 컨볼루션이나 풀링을 사용해 샘플을 버리는 방식이며, 이는 저역통과 필터가 없으므로 앨리어싱을 유발한다. 앨리어싱은 입력 신호를 한 샘플만 이동시켜도 출력이 크게 변하는 현상으로, 특히 고주파 성분이 많이 포함된 음악 신호에서 분리 성능을 저하시킨다. 또한, 샘플을 버리는 과정에서 원본 특성 중 유용한 정보가 손실될 수 있는데, 이는 학습 과정에 전적으로 의존하게 만든다.

이러한 문제점을 해결하기 위해 저자들은 DWT가 갖는 두 가지 핵심 속성을 활용한다. 첫째, DWT는 고역·저역 필터를 적용한 뒤 다운‑샘플링을 수행하므로 자연스럽게 앨리어싱을 억제한다. 둘째, 역 DWT(inverse DWT)를 통해 완전 복원이 가능하므로, 다운‑샘플링 과정에서 손실된 정보가 복원 단계에서 완전히 회복된다. 논문에서는 Haar 웨이블릿을 기반으로 한 lifting scheme을 구현했으며, 시간축을 짝수·홀수 샘플로 분리하고, 예측(P)·업데이트(U) 연산을 통해 고역·저역 서브밴드를 생성한다. 이때 채널 수는 두 배가 되지만, 연산량은 선형 수준이며 GPU 병렬 처리에 적합하다.

제안된 DWT 레이어와 inverse DWT 레이어를 Wave‑U‑Net의 DS·US 블록에 각각 삽입함으로써, 기존 구조와 동일한 인코더‑디코더 흐름을 유지하면서도 앨리어싱 방지와 완전 복원을 동시에 달성한다. 실험에서는 MUSDB18 데이터셋을 사용해 베이스, 드럼, 보컬, 기타 4개의 소스를 분리했으며, 평균 SDR과 median SDR을 기준으로 기존 Wave‑U‑Net 및 변형 모델(average pooling, squeezing)과 비교하였다. 결과는 파라미터가 절반인 Proposed 모델이 기존 Wave‑U‑Net보다 전반적으로 높은 SDR을 기록했으며, 특히 베이스와 드럼에서 눈에 띄는 개선을 보였다. 이는 DWT 기반 DS·US 블록이 고주파 성분을 보존하면서도 효과적인 특징 추출을 가능하게 함을 의미한다.

한계점으로는 현재 Haar 웨이블릿만을 사용했으며, 다른 웨이블릿(예: Daubechies, Symlet)이나 다중 레벨 DWT 적용 시 성능 변화를 추가 실험이 필요하다. 또한, 채널 수가 두 배로 증가함에 따라 메모리 사용량이 늘어나는 점도 고려해야 한다. 향후 연구에서는 가변 길이 웨이블릿 필터 설계, 동적 레벨 선택, 그리고 실시간 처리 가능성을 위한 경량화 방안을 탐색할 여지가 있다.