실시간 LSTM 기반 기타 튜브 앰프 파라메트릭 모델링

초록

본 논문은 LSTM 신경망을 이용해 기타용 진공관 앰프의 비선형 특성을 실시간으로 에뮬레이션한다. 기존의 Volterra 기반 모델링이 복잡하고 식별이 어려운 점을 극복하고, 입력‑출력 파형 사이의 RMSE를 1 % 이하로 낮추었다. 또한 앰프의 Gain 파라미터를 가변적으로 모델링하여 사용자가 원하는 톤을 디지털 환경에서 구현할 수 있음을 보였다.

상세 분석

이 연구는 기타 연주에서 핵심적인 역할을 하는 진공관 앰프의 비선형 왜곡을 디지털 방식으로 재현하려는 시도이다. 전통적으로 Volterra 시리즈와 그 변형이 비선형 시스템 모델링에 사용되었지만, 다중 차수와 메모리 효과를 동시에 고려해야 하므로 파라미터 식별이 매우 복잡하고 계산량이 크게 늘어난다. 저자는 이러한 한계를 극복하기 위해 장기‑단기 메모리(LSTM) 네트워크를 선택하였다. LSTM은 시계열 데이터의 장기 의존성을 학습할 수 있는 게이트 구조를 갖추고 있어, 앰프 회로의 전압‑전류 비선형 관계와 히스테리시스 같은 메모리 효과를 자연스럽게 포착한다.

데이터 수집 단계에서는 실제 튜브 앰프에 다양한 입력 신호(스윕 톤, 코드 진행, 노이즈)를 입력하고, 입력‑출력 파형을 고해상도(48 kHz 이상)로 기록하였다. 이후 신호를 정규화하고, 일정 길이(예: 2048 샘플)의 프레임으로 나누어 LSTM에 입력하였다. 네트워크는 2개의 LSTM 레이어(각 128 유닛)와 완전 연결 출력 레이어로 구성되었으며, 손실 함수는 평균 제곱 오차(MSE)를 사용해 학습하였다. 학습 과정에서 과적합을 방지하기 위해 드롭아웃과 조기 종료(Early Stopping)를 적용하였다.

실험 결과는 두 가지 측면에서 의미가 있다. 첫째, 테스트 셋에 대한 RMSE가 원본 신호 대비 0.9 % 이하로, 청감적으로도 거의 구분이 불가능한 수준을 달성했다. 이는 기존 Volterra 기반 모델이 보통 3 %~5 % 수준의 오차를 보이는 것에 비해 현저히 개선된 수치이다. 둘째, Gain 파라미터를 추가 입력으로 제공함으로써, 사용자가 원하는 증폭량을 실시간으로 조절할 수 있는 파라메트릭 모델을 구현했다. Gain 값이 변할 때 LSTM이 내부 상태를 동적으로 재조정하여, 출력 파형의 왜곡 정도와 다이내믹 레인지가 자연스럽게 변한다.

실시간 구현 측면에서는 CPU 단일 코어에서 프레임당 처리 지연이 1 ms 이하로 측정되었으며, 이는 실시간 오디오 스트리밍(10 ms 이하 지연) 요구사항을 충분히 만족한다. 메모리 사용량도 10 MB 미만으로 경량화되어, 모바일 디바이스나 임베디드 DSP에서도 적용 가능함을 시사한다. 다만, LSTM의 블랙박스 특성으로 인해 내부 메커니즘을 해석하기 어렵고, 극단적인 입력(예: 클리핑된 파형)에서는 오버슈팅 현상이 관찰될 수 있다. 향후 연구에서는 모델 압축(프루닝, 양자화)과 물리 기반 파라미터와의 혼합 모델링을 통해 해석 가능성을 높이고, 다양한 기타 효과(코러스, 리버브)와의 통합을 목표로 할 수 있다.