마스크드 조건부 신경망을 활용한 음악 장르 자동 분류

본 논문은 시간‑주파수 특성을 동시에 고려할 수 있는 새로운 신경망 구조인 조건부 신경망(CLNN)과 그 확장형인 마스크드 조건부 신경망(MCLNN)을 제안한다. 기존의 제한 볼츠만 머신(RBM) 기반 모델은 각 프레임을 독립적으로 처리하거나, 순환 신경망(RNN)은 내부 상태에 의존해 시간 의존성을 모델링한다. 그러나 RBM은 시간 정보를 무시하고, RNN은 역전파 시 그래디언트 소실·폭발 문제에 취약하며, 학습 복잡도가 높다. 이러한 문제점을 해결하기 위해 저자들은 CRBM의 아이디어를 차용해, 현재 프레임을 중심으로 앞·뒤 n개의 프레임을 동시에 고려하는 3차원 가중치 텐서를 설계하였다. 입력 윈도우의 크기 d = 2n + 1이며, 각 프레임 u에 대응하는 가중치 행렬 W_u를 곱해 합산한 뒤 비선형 활성화 함수를 적용한다(식 3). 이 과정은 순전파와 역전파가 일반적인 피드‑포워드 네트워크와 동일한 복잡도로 수행될 수 있게 하며, 시간 차원에 대한 별도 상태를 유지하지 않으면서도 시간적 연속성을 효과적으로 학습한다. CLNN의 기본 구조 위에 마스크드 레이어를 추가한 것이 MCLNN이다. 마스크는 이진 행렬 M으로, 각 은닉 유닛이 입력 피처 벡터의 특정 연속 구간(대역폭)만을 바라보게 만든다. 대역폭(bandwidth)과 오버랩(overlap)이라는 두 하이퍼파라미터로 마스크 패턴을 정의한다. 예를 들어, 대역폭 = 5, 오버랩 = 3이면, 첫 번째 은닉 유닛은 입력 피처 0‑4를, 두 번째는 2‑6을, 세 번째는 4‑8을 보는 식으로 겹치는 영역을 형성한다. 오버랩을 음수로 설정하면 대역 간 간격을 넓혀 보다 독립적인 특징을 추출한다. 마스크는 가중치 행렬 W_u와 원소별 곱을 수행해 Z_u = W_u ∘ M(식 5)으로 적용되며, 이는 기존의 전역 가중치 연결을 제한된 지역 연결로 변환한다. 이렇게 하면 각 은닉 유닛이 주파수 스펙트럼의 특정 지역에 특화된 “전문가” 역할을 하게 되고, 동시에 여러 은닉 유닛이 서로 다른 지역·조합을 학습함으로써 필터뱅크가 수행하던 주파수 대역 평균화와 유사한 효과를 얻는다. 다만, 마스크가 고정되어 있기 때문에 데이터에 맞는 최적의 패턴을 자동으로 찾는 능력은 제한적이다. 실험 설정은 다음과 같다. 두 데이터셋 GTZAN(10 장르, 1000곡)과 ISMIR2004(6 장르, 729곡) 모두 22 050 Hz로 리샘플링하고, 30 초 길이의 청크를 추출했다. 256 채널 Mel‑스펙트로그램을 2048‑점 FFT(≈100 ms)와 50 % 오버랩으로 변환했으며, 각 피처 차원에 대해 z‑score 정규화를 적용했다. 입력 윈도우는 n = 4(즉, 9 프레임)로 설정하고, 두 개의 CLNN 레이어를 순차적으로 쌓았다. 각 레이어는 220·200개의 은닉 유닛을 가지고, 마스크 대역폭은 첫 레이어 40, 오버랩 = ‑10, 두 번째 레이어 10으로 설정했다. 마지막에 k = 10개의 여분 프레임을 전역 평균 풀링으로 집계하고, 50‑노드 완전 연결층을 거쳐 소프트맥스 출력층으로 장르를 분류한다. 활성화 함수는 PReLU를 사용했으며, 손실 함수는 범주형 교차 엔트로피였다. 10‑fold 교차 검증을 10번 반복해 평균 정확도와 안정성을 평가했다. 성능 결과는 다음과 같다. GTZAN에서 MCLNN은 85.1 %의 평균 정확도를 기록했으며, 동일한 데이터와 동일한 멜 스펙트로그램을 사용한 다른 딥러닝 기반 방법(RBF‑SVM + Scattering, 91.4 %)보다는 낮지만, 복잡한 다중 특징 결합(SRC + Multiple feat. sets, 92.7 %)에 비해 경쟁력 있다. 특히, 오류가 정제된 필터드 GTZAN에서도 84.4 %를 달성해, 데이터 품질에 대한 강인성을 입증했다. ISMIR2004에서는 86 %의 정확도로, 가장 높은 성능을 보인 SRC + NTF + Cortical features(94.4 %)에 근접하면서도 구현이 단순하고 학습 비용이 낮다. 또한 100 ms 윈도우를 사용해 프레임 수를 절반으로 줄였음에도 불구하고, 50 ms 윈도우를 사용한 기존 연구보다 훈련 복잡도가 크게 감소했다. 논문의 주요 기여는 (1) 시간적 연속성을 직접 모델링하면서도 그래디언트 소실 문제를 회피하는 CLNN 구조, (2) 주파수 대역별 지역성을 유지하고 자동으로 특징 조합을 탐색하도록 설계된 마스크 메커니즘, (3) 두 데이터셋에서 기존 최첨단 방법들을 능가하거나 근접한 성능을 달성한 실증적 증거이다. 한계점으로는 마스크 패턴이 사전에 정의된다는 점과, 현재는 단일 채널(멜 스펙트로그램)만을 대상으로 했다는 점이 있다. 향후 연구에서는 마스크를 학습 가능한 파라미터로 전환하거나, 레이어별 서로 다른 order n을 조합해 다중 시간 스케일을 포착하는 방안을 모색한다. 또한 다채널(스테레오, 멀티마이크) 신호나 다른 도메인(음성, 환경 소리)에도 적용 가능성을 탐색할 예정이다.