오디오 라우터: 강화학습 기반 도구 선택으로 효율적인 청각 이해

초록

AudioRouter는 대형 오디오 언어 모델(LALM)을 고정한 채, 외부 청각 도구의 사용 시점을 강화학습으로 학습하는 라우팅 정책을 도입한다. 상대적 성과 보상을 통해 도구 호출이 직접 추론보다 실제로 성능을 향상시킬 때만 선택하도록 유도함으로써, 기존 엔드‑투‑엔드 학습에 비해 최대 600배 적은 데이터로 도구 활용 능력을 습득하고, 표준 청각 이해 벤치마크에서 눈에 띄는 성능 향상을 달성한다.

상세 분석

본 논문은 LALM이 저수준 청각 인지(피치 추정, 이벤트 카운팅 등)에서 한계를 보이는 문제를 도구 활용이라는 외부 지식 연산으로 해결하고자 한다. 핵심 아이디어는 ‘도구 사용 여부와 종류’를 모델 내부의 파라미터가 아니라 별도의 라우터(Router) 정책으로 분리하고, 이 정책만을 강화학습(RL)으로 최적화한다는 점이다. 라우터는 입력 오디오·질문·후보 옵션을 조건으로 삼아 행동 공간 A = {Direct, t₁,…,t_K} 중 하나를 선택한다. Direct는 기존 LALM이 그대로 추론하는 경로이며, t_k는 사전 정의된 청각 도구(예: pitch tracker, duration analyzer 등)를 호출한다.

라이터가 선택한 도구는 고정된 추론 모델 f_θ에 구조화된 증거 r_k를 제공하고, f_θ는 이를 추가 입력으로 받아 최종 답을 생성한다. 여기서 f_θ는 학습 중 전혀 업데이트되지 않으며, 라우터의 학습 난이도를 크게 낮춘다. 이는 기존 방식이 대규모 오디오‑텍스트 쌍을 사용해 모델 자체에 인지 능력을 내재화하는 것과 대비된다.

학습 신호는 ‘Relative Outcome Reward’라는 상대적 보상으로 설계되었다. 동일한 입력에 대해 Direct 경로와 Tool‑augmented 경로의 정답 여부(acc_dir, acc_tk)를 비교해 다음과 같이 보상을 부여한다.

• tool 사용이 정답을 만들고 Direct가 틀리면 +5 (긍정적 보상)
• tool 사용이 틀리고 Direct가 정답이면 –5 (강한 패널티)
• 두 경우 모두 동일하면 0 (무보상) 혹은 –0.1 (불필요한 호출 억제)
  Direct 선택 시에는 정답이면 +1, 오답이면 –1을 부여한다. 이러한 설계는 “도구 호출이 실제로 성능을 개선할 때만 사용하도록” 라우터를 유도한다.

실험에서는 45개의 공개 청각 이해 벤치마크(MMAR, AudioQA 등)를 사용해, 동일한 LALM 백본에 AudioRouter를 적용했을 때 평균 37%p의 정확도 상승을 기록했다. 특히 훈련 데이터 양을 600배 축소해도 기존 엔드‑투‑엔드 방식과 동등하거나 우수한 결과를 얻었다. 이는 라우터가 적은 샘플로도 도구 선택 정책을 효과적으로 학습한다는 증거다.

또한 두 가지 주요 실패 모드—표면 키워드 편향과 도구 능력 경계 초과( hallucination )—를 정량적으로 분석하고, 라우터가 기능적 유효성을 우선시하도록 설계된 보상이 이러한 문제를 크게 완화함을 보였다.

한계점으로는 라우터가 선택할 수 있는 도구 집합이 사전에 정의돼 있어 새로운 도구가 추가될 경우 재학습이 필요하고, 상대적 보상 계산을 위해 Direct와 Tool‑augmented 두 경로를 모두 실행해야 하는 비용이 있다. 향후 연구에서는 메타‑라닝을 통한 도구 확장성, 다중 도구 연쇄 호출, 그리고 비정형 도구 출력에 대한 신뢰도 추정 등을 탐색할 여지가 있다.