입출력만으로 시간변조 오디오 이펙트 모델링: 엔드투엔드 GAN 접근

초록

본 논문은 내부 LFO 등 변조 신호를 직접 추출하지 않고도 입력‑출력 오디오 쌍만으로 시간변조 효과(예: 페이저)를 모델링하는 GAN 기반 프레임워크를 제안한다. 컨볼루션‑리커런트 구조와 두 단계 학습(초기 적대 학습 → 상태 예측 네트워크 기반 미세조정)을 통해 변조 위상 정렬 문제를 해결하고, 새로운 챱‑트레인 기반 모듈레이션 정확도 지표를 제시한다. 실험 결과, 빈티지 하드웨어 페이저를 높은 정밀도로 재현한다.

상세 분석

이 연구는 시간변조 오디오 이펙트, 특히 LFO‑구동형 페이저와 같은 장치를 블랙‑박스 방식으로 모델링하는 데 직면한 핵심 문제를 정확히 짚어낸다. 기존의 회귀 기반 학습은 입력‑출력 페어가 서로 다른 LFO 위상으로 시작될 경우, 손실 함수가 위상 차이에 민감해 모델이 평균화된 동작만을 학습하게 된다. 이를 극복하기 위해 저자는 두 단계 학습 전략을 도입한다. 첫 번째 단계에서는 GAN의 적대적 손실만을 사용해 생성기가 변조 신호의 통계적 분포를 학습하도록 한다. 이때 생성기의 초기 상태 h₀는 확률 분포에서 샘플링되며, 이는 위상 정보를 강제하지 않으면서도 변조 패턴을 포착하게 만든다. 두 번째 단계에서는 State Prediction Network(SPN)를 통해 실제 입력‑출력 쌍으로부터 최적의 초기 상태를 예측하고, 이를 고정된 h₀로 교체해 모델을 미세조정한다. SPN은 판별기의 피처 추출 블록을 재활용함으로써 파라미터 효율성을 높이고, 판별기의 가중치를 고정해 피처가 안정적으로 유지되도록 설계되었다.

아키텍처 측면에서 제안된 SPTVMod 네트워크는 기존 SPTMod에 FXBlock이라는 잔차형 컨볼루션 스택을 추가해 고주파와 저주파 응답을 동시에 처리한다. ModBlock 내부의 LSTM은 다운샘플링‑업샘플링 구조를 통해 연산량을 줄이면서도 장기 의존성을 학습한다. 또한, 깊이별 컨볼루션(depth‑wise convolution)을 활용해 파라미터 수와 실시간 처리 비용을 최소화한다.

손실 함수는 힌지 기반 적대 손실에 MR‑STFT 스펙트럴 손실을 결합하고, 각 손실 항목의 그래디언트를 자동으로 스케일링하는 적응형 손실 균형 기법을 적용한다. 이는 적대 학습 시 발생하는 그래디언트 스케일 차이를 완화해 훈련 안정성을 크게 향상시킨다.

평가에서는 전통적인 파라미터‑기반 LFO 추출 방식과 비교해, 제안된 방법이 위상 정렬 없이도 변조 파형을 정확히 재현함을 입증한다. 특히, 새로운 챱‑트레인 기반 모듈레이션 정확도 지표는 LFO 위상의 시간적 변화를 정량화해, 기존 MSE‑기반 지표보다 변조 특성을 민감하게 포착한다. 실험 결과는 빈티지 페이저 하드웨어의 특유의 비선형 위상 이동과 주파수 스윕을 고품질 오디오로 복제했으며, 청취 테스트에서도 원본과 구분하기 어려운 수준을 기록했다.

전반적으로 이 논문은 블랙‑박스 시간변조 이펙트 모델링에 필요한 두 가지 핵심 과제—위상 정렬 문제와 초기 상태 예측—를 효과적으로 해결하고, GAN과 상태 예측 네트워크를 결합한 새로운 학습 파이프라인을 제시함으로써 향후 다양한 변조 기반 오디오 플러그인 및 하드웨어 에뮬레이션에 적용 가능한 강력한 프레임워크를 제공한다.