다층 켑스트럼을 이용한 순간 주파수 추정

초록

본 논문은 고역통과 필터 노이즈와 같은 심각한 오염 환경에서도 다중 기본 주파수(MF0)를 정확히 추정하기 위해, 켑스트럼 연산을 여러 번 재귀적으로 적용하는 다층 켑스트럼(MLC) 방식을 제안한다. MLC를 시간·주파수 도메인에 모두 적용하고, 이를 기존 CFP(Combined Frequency‑Periodicity) 프레임워크와 결합함으로써 F0의 가시성을 단계적으로 강화한다. 시뮬레이션 및 실제 폴리포닉 음악 데이터(Bach10) 실험을 통해 층 수가 늘어날수록 F0 검출 정확도가 향상되고, 특히 고역통과 노이즈가 심한 상황에서도 기존 방법들을 크게 능가함을 입증한다.

상세 분석

본 연구는 켑스트럼이라는 고전적인 신호 처리 도구를 딥러닝 구조와 연결짓는 독창적인 접근을 취한다. 켑스트럼은 기본적으로 (1) 푸리에 변환, (2) 고역통과 필터링, (3) 비선형 활성화(전력 스케일링)라는 세 단계로 구성된다. 저자들은 이 세 단계를 여러 층에 걸쳐 순환시켜, 각 층에서 빠르게 변동하는 주파수 성분(즉, 기본 주파수와 그 배수)만을 점진적으로 강조하고, 느리게 변동하거나 비주기적인 성분은 점차 억제한다. 수식적으로는
(z^{(0)} = \sigma^{(0)}(|F x|)),
(z^{(\ell)} = \sigma^{(\ell)}\bigl(W^{(\ell)} F z^{(\ell-1)}\bigr))
와 같이 정의되며, 여기서 (F)는 N‑점 DFT 행렬, (W^{(\ell)})는 지정된 컷오프 주파수(또는 큐프렌시) 이하를 차단하는 대각 행렬, (\sigma^{(\ell)})는 양수 입력에 대해 (x^{\gamma_\ell}) 형태의 전력 함수이다.

이 구조는 전통적인 MLP와 매우 흡사한데, (W^{(\ell)}F)가 완전 연결 가중치 역할을, (\sigma^{(\ell)})가 활성화 함수 역할을 수행한다. 중요한 차이점은 가중치가 고정된 선형 변환(DFT)과 간단한 대각 필터라는 점이다. 따라서 학습 파라미터는 (\gamma_\ell)와 필터 컷오프값뿐이며, 이는 물리적 의미가 명확해 해석이 용이하다.

MLC를 시간‑주파수 분석에 적용하기 위해 저자들은 STFT 기반 입력 (X)에 대해 층별 연산을 수행한다. 짝수 층은 주파수 도메인, 홀수 층은 큐프렌시(시간) 도메인 출력을 제공한다. 이후 CFP 기법을 차용해 짝수·홀수 층 출력을 교차 곱함으로써, 서로 보완적인 잡음 억제 효과를 얻는다. 구체적으로
(Y^{(\ell_e,\ell_o)}