텍스처 기반 프리셋 검색으로 실시간 오디오 이펙트 제어

초록

본 논문은 디지털 오디오 워크스테이션(DAW)에서 사용자가 원하는 음향 효과를 직관적인 텍스트·오디오 입력으로 지정하면, 미리 정의된 프리셋 데이터베이스에서 가장 적합한 파라미터 조합을 찾아 반환하는 시스템을 제안한다. 핵심은 중간 레이어의 Wav2Vec2 활성화를 Gram 행렬로 변환해 텍스처 정보를 보존한 “Texture Resonance Retrieval (TRR)”이다. 기타 CLAP·텍스트‑RAG·FeatureNN‑RAG 등과 비교했을 때, TRR은 정규화된 파라미터 오차가 가장 낮으며, 청취 실험에서도 우수한 결과를 보였다.

상세 분석

논문은 “편집 가능한” 오디오 이펙트 제어를 목표로, 사용자가 제시한 감성적 의도를 직접 파라미터 공간에 매핑하기보다는, 기존에 검증된 프리셋을 검색해 그 결과를 편집 가능한 형태로 제공한다는 패러다임을 채택한다. 이를 위해 저자는 텍스처‑중심의 특징을 포착하는 새로운 임베딩 방식을 설계했으며, 핵심 아이디어는 Wav2Vec2의 중간 레이어 출력을 프레임 단위로 추출한 뒤, 각 프레임 간 상관관계를 Gram 행렬(2차 통계)로 요약하는 것이다. Gram 행렬은 이미지 스타일 전이에서 텍스처를 표현하던 방식과 유사하지만, 여기서는 오디오 텍스처—예를 들어 트레몰로나 디스토션의 시간적 변동 패턴—를 정량화한다.

TRR은 두 단계로 동작한다. 첫째, 텍스트 쿼리와(선택적으로) 오디오 레퍼런스를 각각 텍스트‑임베딩·오디오‑임베딩으로 변환하고, 이들을 독립적인 RAG 모듈에 입력해 후보 프리셋을 상위 K개 추출한다. 둘째, 후보들의 오디오 임베딩에 대해 Gram 행렬 기반 거리(metric)를 계산해 텍스처 유사도가 가장 높은 프리셋을 최종 선택한다. 이렇게 하면 단순 평균 풀링 기반 임베딩이 놓치기 쉬운 시간‑주파수 상관구조를 보존하면서, 물리적 파라미터 범위와 플러그인 제약을 만족하는 실시간 적용 가능한 파라미터 벡터를 얻을 수 있다.

실험은 기타 이펙트 체인을 대상으로 1,063개의 프리셋과 204개의 쿼리를 사용한 교차 검증(Protocol‑A)으로 수행되었다. 평가 지표는 각 파라미터 차원을 물리적 최소·최대값으로 정규화한 평균 절대 오차이며, CLAP·Wav2Vec‑RAG·Text‑RAG·FeatureNN‑RAG와 비교했을 때 TRR이 가장 낮은 오류를 기록했다. 또한, 근접 중복(near‑duplicate) 프리셋을 제거한 민감도 분석에서도 성능 저하가 거의 없었으며, 이는 모델이 단순 데이터 중복에 의존하지 않음을 보여준다.

청취 실험에서는 26명의 참여자가 4개의 시스템 출력(기존 베이스라인 포함) 중 가장 만족스러운 프리셋을 선택하도록 했으며, TRR이 통계적으로 유의미하게 높은 선호도를 얻었다. 이는 정량적 파라미터 오류 감소가 실제 청각적 품질 향상으로 이어짐을 뒷받침한다.

한계점으로는 현재 실험이 기타 이펙트라는 제한된 도메인에 국한돼 있어, 다른 악기·음악 장르·실제 녹음 환경에서의 일반화 가능성은 검증되지 않았다. 또한, 사용자 맞춤형 파라미터 튜닝이나 실시간 오디오 입력에 대한 강인성은 추가 연구가 필요하다.

요약하면, TRR은 텍스처 정보를 2차 통계로 명시적으로 활용함으로써, 기존 1차 임베딩 기반 검색보다 파라미터 공간과 청각적 텍스처 사이의 매핑을 더 정확히 수행한다는 점에서 의미 있는 진전을 제공한다.