불변성 기반 딥 오디오 표현과 음악 장르 분류

본 논문은 청각 피질이 시각 피질과 유사한 변환 불변성 메커니즘을 활용한다는 가설을 바탕으로, 오디오 신호에 적용 가능한 계층적 투사‑풀링 구조를 제안한다. 먼저, 변환군 \(G\) (시간 이동, 스케일, 피치 변환 등)를 정의하고, 입력 신호 \(x\) 의 궤도 \(O_x=\{g x\mid g\in G\}\) 를 불변성의 수학적 표상으로 삼는다. 궤도 자체는 직접 다루기 어렵지만, 군이 콤팩트하면 Haar 측정에 의해 확률분포 \(P_x\) 를 얻을 수 있다. 이 고차원 분포는 무작위 템플릿 \(t_k\) 와 그 변형 \(g t_k\) 에 대한 1‑차원 투사값을 통해 Cramér‑Wold 정리와 고차원 집중 현상에 의해 충분히 근사된다. 구현 단계에서는 (1) 템플릿 \(t_k\) 와 변형 \(g t_k\) 를 메모리에 저장하고, (2) 입력 신호와 각 변형 템플릿 사이의 내적 \(h(x, g t_k)\) 을 계산한다. (3) 이 내적값에 대해 히스토그램 bin \(\eta_n\) 또는 모멘트 \((\cdot)^n\) 을 적용해 각 템플릿에 대한 확률분포 요약값 \(\mu_k(x)\) 을 만든다. 최종 서명 \(\mu(x)\) 은 모든 템플릿의 요약값을 연결(concatenate)한 \(\mathbb{R}^{NK}\) 벡터이며, 템플릿 수 \(K\)와 히스토그램 bin 수 \(N\)가 충분히 크면 이 서명은 변환에 완전히 불변하고 서로 다른 신호를 구별한다는 이론적 보장을 갖는다. 생물학적 관점에서 이 구조는 ‘simple‑cell’(투사)과 ‘complex‑cell’(풀링)으로 해석된다. simple‑cell은 하나의 변형 템플릿을 가중치로 저장하고 입력과의 내적을 수행하며, complex‑cell은 여러 simple‑cell의 출력을 비선형 함수(시그모이드, 히스토그램 bin, 모멘트 등)로 집계한다. 이러한 연산은 뉴런의 수천~수만 시냅스와 병렬 처리 능력에 부합한다. 다음으로, 이 기본 모듈을 여러 층에 쌓아 깊은 불변성 표현을 만든다. 첫 번째 층은 370 ms 윈도우의 로그‑스펙트로그램을 입력으로 사용한다. 두 번째 층에서는 시간 워핑 변환 \(g_\epsilon\) (\(\epsilon\in