시간‑주파수 스캐터링을 활용한 현대 음악 창작

본 논문은 청각 신경생리학에서 밝혀진 스펙트럼‑시간 수용 필드(STRF)를 수학적으로 구현한 ‘시간‑주파수 스캐터링(time‑frequency scattering)’이라는 변환을 제안하고, 이를 현대 컴퓨터 음악 창작에 적용한다. 서두에서 저자는 전통적인 구체음악(concrete music)과 전자음악(Elektronische Musik)의 상충 관계를 지적하며, 두 접근법이 각각 ‘특수성’과 ‘표현성’ 사이에서 트레이드오프를 겪는다고 설명한다. 이러한 문제를 해결하기 위해 청각 피질의 뉴런 반응을 모델링한 STRF가 제시되었지만, 그 자체가 비가역적이고 연속적인 피치·템포 파라미터와 연결되지 않아 실용적 활용에 한계가 있었다. 저자는 2013‑2016년 사이 École normale supérieure에서 진행한 연구를 통해, Mallat이 2012년에 제안한 ‘시간 스캐터링(time scattering)’을 확장하여 ‘시간‑주파수 스캐터링’을 정의한다. 핵심 아이디어는 Morlet 파동렛 ψγ(t)를 다변량 텐서 곱으로 일반화하고, 각 차원에 대해 스케일 γ와 위치 θ를 파라미터화한 파동렛 Ψλ(v₁,…,v_R)를 구성하는 것이다. 이를 통해 시간과 주파수 양쪽의 변조(리프, 템포, 스케일)를 동시에 포착할 수 있다. 수학적 기반으로는 Waldspurger가 증명한 가역성 정리를 인용한다. 파동렛이 ‘tight frame’을 이루고, 네트워크 깊이가 무한에 수렴하면 모듈러스 연산만으로도 원본 신호를 연속적으로 복원할 수 있다. 이는 스캐터링 계수(모듈러스값)만을 이용해 신호를 재구성할 수 있음을 의미한다. 구현 단계에서는 다중 해상도 피라미드와 FFT 기반 컨볼루션을 활용해 연산 효율을 크게 높였다. 특히, 저자는 스토캐스틱 경사 하강법을 사용해 초기 랜덤 노이즈(브라운 운동)를 목표 텍스처의 스캐터링 계수와 일치하도록 반복적으로 업데이트한다. 여기서 역전파는 전통적인 딥러닝과 달리 파동렛 임펄스 응답 계수는 고정하고, 실제 파형 자체를 최적화한다는 점이 독특하다. 손실 함수는 Euclidean 거리 형태의 에너지 차이(E)로 정의되며, 각 스캐터링 경로 λ에 대한 에너지 비율을 ppm 단위로 표현한다. 음악적 적용 사례로는 Florian Hecker의 ‘FA VN’(2016)와 ‘Modulator’(2014)를 분석·재구성하였다. 저자는 스캐터링 경로를 에너지 크기별로 정렬하고, 이를 기반으로 텍스처의 청각적 인지를 수치화한다. 구체음악의 복잡한 음색과 전자음악의 순수 톤을 동시에 제어할 수 있는 새로운 작곡 도구로서의 가능성을 보여준다. 예를 들어, ‘FA VN’에서는 분석 단계에서 얻은 스캐터링 계수를 이용해 텍스처를 재생성하고, 합성 단계에서는 경사 하강법을 통해 새로운 파형을 생성한다. 이 과정은 ‘분석‑합성’ 루프를 반복함으로써 작곡가가 실시간에 가깝게 텍스처를 조작하고 청취 피드백을 받을 수 있게 한다. 논문은 세 가지 주요 주장을 제시한다. 첫째, 시간‑주파수 스캐터링은 다른 청각 표현(예: 멜 스펙트로그램, MFCC)보다 수학적으로 해석 가능성이 높다. 둘째, 라벨이 제한된 상황(예: 악기 인식)에서도 딥러닝 기반 분류기보다 우수한 성능을 보인다. 셋째, 텍스처 재구성에서 인간 청각에 가까운 지각적 유사성을 제공한다. 결론적으로, 시간‑주파수 스캐터링은 청각 신경과학적 근거를 갖는 해석 가능한 음향 표현을 제공함과 동시에, 효율적인 알고리즘 구현을 통해 실시간 작곡 도구로 활용 가능함을 입증한다. 이는 전통적인 구체음악과 전자음악 사이의 ‘특수성‑표현성’ 딜레마를 완화하고, 현대 디지털 스튜디오에서 새로운 텍스처 기반 작곡 패러다임을 제시한다.