프레임 수준 내부 도구 활용으로 오디오 언어 모델의 시간 정밀도 혁신

초록

본 논문은 오디오 언어 모델이 텍스트 토큰으로 타임스탬프를 생성하는 기존 방식의 비효율성과 환각 문제를 해결하고자, 모델 내부의 프레임 표현을 직접 활용하는 ‘프레임‑레벨 내부 도구 사용’ 방식을 제안한다. 이 방법은 경량화된 예측 헤드를 통해 각 프레임에 대한 이벤트 확률을 추정하고, 이진 분류 손실과 새롭게 설계한 비균질 포아송 과정(IHP) 손실을 결합해 학습한다. 실험 결과, 단어 정렬, 화자 다이어리제이션, 이벤트 로컬라이제이션 등 세 가지 시간 기반 과제에서 토큰 기반 베이스라인을 크게 앞서며, 추론 속도는 50배 이상 가속되고, 길이 일반화에서도 강인함을 보인다.

상세 분석

이 논문은 오디오 LM이 텍스트 디코더를 통해 타임스탬프를 순차적으로 생성하는 전통적 접근법이 계산 비용이 높고, 특히 훈련 분포를 벗어난 길이의 오디오에 대해 환각 현상이 빈번히 발생한다는 점을 지적한다. 이를 극복하기 위해 저자는 모델 내부의 디코더 출력 D={d₁,…,d_T}를 그대로 활용하는 프레임‑레벨 예측 헤드를 설계한다. 두 가지 손실 함수가 핵심이다. 첫 번째는 이진 교차 엔트로피 기반의 프레임 분류 손실로, 각 프레임을 이벤트 존재 여부에 대해 독립적으로 판단한다. 클래스 불균형을 완화하기 위해 양·음성 비율에 기반한 가중치를 적용한다. 두 번째는 비균질 포아송 과정(IHP) 손실이다. 여기서는 시간에 따라 변하는 강도 함수 λ(t)를 로그 스케일로 d_k에 선형 투사해 정의하고, 전체 강도 Λ(T)=∑ₖλ_k를 정규화 상수로 사용한다. 이벤트 시점 집합 {t₁,…,t_n}에 대한 로그 우도는 –∑ₖlogλ(t_k)+n·logΛ(T) 형태이며, 이는 특정 프레임에 강도를 집중시키면서 전체 에너지를 최소화하도록 모델을 유도한다. 추론 단계에서는 λ(t)의 누적 강도 Λ(t)를 이용해 시간 재스케일링 정리를 적용, 베타 분포 기반의 후방 모드를 계산해 최적 타임스탬프를 효율적으로 찾는다. 실험에서는 LibriSpeech 기반 단어 정렬, VoxCeleb 기반 화자 다이어리제이션, 그리고 ESC‑50 기반 이벤트 로컬라이제이션을 수행했으며, 모든 과제에서 이진 손실보다 IHP 손실이 평균 MAE와 정확도에서 우수했다. 특히 프레임‑레벨 접근은 한 번의 병렬 연산만으로 전체 타임스탬프를 산출해, 기존 토큰 기반 디코더가 7~10 토큰을 생성하던 것을 50배 이상 빠르게 만든다. 또한, 훈련 시 30초 이하 길이의 데이터만 사용했음에도 5분 길이의 테스트 오디오에서 타임스탬프 오류가 급증하던 토큰 기반 모델과 달리, 프레임‑레벨 모델은 강도 함수가 직접 오디오 프레임에 매핑되므로 길이 일반화에서 거의 성능 저하가 없었다. 한계점으로는 현재 프레임 레이트가 25 Hz(40 ms)로 고정돼 있어 초밀도 타임스탬프가 필요한 상황에서 정밀도가 제한될 수 있다. 또한, IHP 손실의 파라미터화가 단순 로그 선형 투사에 머물러 복잡한 이벤트 패턴(예: 겹치는 음성 구간)에는 추가적인 구조적 확장이 필요할 것으로 보인다. 전반적으로 이 연구는 오디오 LM이 내부 표현을 직접 활용해 시간 정보를 추출함으로써, 효율성과 정확성을 동시에 달성할 수 있음을 실증적으로 보여준다.