LLM 기반 도구 호출로 음악 후처리 자동화: LLM2Fx‑Tools

초록

LLM2Fx‑Tools는 대형 언어 모델(LLM)에 체인‑오브‑생각(CoT) 플래닝과 도구 호출을 결합해, 원음(dry)과 목표 음원(wet) 사이의 오디오 이펙트 체인(Fx‑chain)을 자동으로 생성한다. 새롭게 만든 LP‑Fx 데이터셋(101K 대화형 예시)으로 학습했으며, 역공학 및 블라인드 추정, 스타일 전이 등 다양한 시나리오에서 높은 성능과 해석 가능성을 보였다.

상세 분석

본 논문은 음악 포스트‑프로덕션에서 가장 핵심적인 작업인 오디오 이펙트 체인 설계를 자동화하기 위해, 멀티모달 LLM에 “도구 호출(tool‑calling)” 메커니즘을 도입한 점이 가장 큰 혁신이다. 기존 연구들은 주로 미분 가능한 효과 모듈에 대한 최적화, 회귀 혹은 멀티태스크 학습에 의존했으며, 효과 선택·순서·파라미터를 동적으로 조정하거나 인간이 이해할 수 있는 이유를 제공하지 못했다. LLM2Fx‑Tools는 이러한 한계를 다음과 같이 극복한다.

1. 멀티모달 입력 설계 – 사전 학습된 Fx‑Encoder++ 로부터 추출한 패치 임베딩을 트랜스포머 기반 어댑터를 통해 LLM(Qwen‑3‑4B) 입력 공간에 매핑한다. 텍스트 명령, ‘dry’·‘reference’ 오디오 임베딩, 구분 토큰을 하나의 시퀀스로 결합해 LLM이 음향 특성과 언어 정보를 동시에 인식하도록 한다.

2. Chain‑of‑Thought 플래닝 – Fx‑chain 생성 과정을 네 단계(사용자 입력 분석 → 이펙트 선택 → 순서 결정 → 파라미터 계획)로 분해하고, 각 단계의 중간 결과를 텍스트 형태의 CoT 로 출력한다. CoT는 이후 도구 호출 단계의 컨텍스트가 되며, 모델이 복합적인 의사결정을 단계별로 수행하도록 강제한다.

3. 구조화된 도구 호출 – 효과 모듈을 외부 실행 가능한 툴로 정의하고, LLM이 “(tool_name, {param: value})” 형태의 시퀀스를 직접 생성한다. 이렇게 하면 비미분 가능한 Pedalboard·커스텀 이펙트도 그대로 활용 가능하며, 생성된 체인은 실제 오디오 파이프라인에 바로 적용할 수 있다.

4. 학습 손실 설계 – 일반 교차 엔트로피 손실에 더해 Number‑Token Loss(NTL)를 도입, 파라미터 값의 수치적 거리를 와서스테인 거리로 측정해 정밀한 파라미터 예측을 유도한다. 두 손실을 가중합(L_total = L_CE + λ·L_NTL)함으로써 텍스트·수치 두 종류의 출력 모두에서 높은 정확도를 달성한다.

5. 다단계 학습 전략 – (①) 어댑터만을 이용한 오디오‑텍스트 정렬 사전학습, (②) 전체 파이프라인을 LoRA로 미세조정하는 두 단계로 구성한다. 특히 사전학습 단계에서 무작위 Fx‑chain 샘플링을 통해 파라미터‑오디오 매핑을 폭넓게 학습한다.

6. 데이터셋 LP‑Fx – MedleyDB 기반 2,119개의 멀티트랙을 활용, Pedalboard·커스텀 9개의 이펙트(26개 파라미터) 조합으로 101K개의 대화형 샘플을 자동 생성한다. 각 샘플은 (사용자 명령, Fx‑chain, CoT, 응답) 네 요소를 포함하며, LLM‑as‑a‑judge 절차를 통해 품질을 검증한다.

7. 강건성 및 배포 – 실제 현장에서는 ‘dry’ 오디오가 없거나 환경이 다를 수 있기에, Fx‑Removal·Fx‑Normalization 전처리와 dry‑audio 마스킹(p_mask) 기법을 적용해 블라인드 추정 상황에도 대응한다.

실험 결과, 역공학(두 오디오 모두 제공)과 블라인드 추정(참조만 제공) 모두에서 기존 최첨단 회귀·멀티태스크 모델을 크게 앞섰으며, 스타일 전이 실험에서도 참조 트랙의 이펙트 특성을 새로운 콘텐츠에 성공적으로 전이시켰다. 또한 LLM‑as‑judge 평가에서 생성된 CoT와 응답이 인간 평가자와 높은 일치도를 보이며, 해석 가능성과 사용자 친화성을 입증했다.

한계점으로는 현재 9개의 이펙트와 26개 파라미터에 국한된 점, 대규모 실시간 처리 시 연산 비용, 그리고 복잡한 다채널·공간 효과(예: 3D 서라운드) 지원이 미비한 점을 들 수 있다. 향후 더 다양한 플러그인 연동, 효율적인 추론 가속, 그리고 사용자 피드백 기반의 온라인 미세조정이 연구 과제로 남는다.