노이즈가 손실을 낮춘다: 음악 LLM 평가의 새로운 패러다임

초록

음악 생성 LLM에서 교차 엔트로피 손실이 잡음이 삽입된 입력에 대해 오히려 감소한다는 현상을 발견하고, 손실 곡선의 형태—특히 짧은 구간의 급격한 피크와 이후의 동화·회복 단계—가 모델의 음악 품질 판단에 더 유용함을 제안한다.

상세 분석

본 논문은 음악 대형 언어 모델(MusicGen, YU​E 등)의 손실 함수가 기존 기대와 달리 잡음 삽입 시 감소하는 ‘Context Amnesia Effect’를 체계적으로 규명한다. 실험은 750 토큰(≈15 초) 길이의 오디오를 EnCodec 토크나이저로 변환한 뒤, 특정 구간에 백색 잡음을 다양한 길이(0.1 ~ 4 초)와 레벨(−30 ~ −12 dB)로 삽입한다. 손실 차이 Δℓₜ = −log p(x′ₜ|x′<ₜ)+log p(xₜ|x<ₜ) 를 토큰 단위로 계산해 손실 곡선을 시각화하면 세 단계가 일관되게 나타난다.

1. Peak 영역: 잡음 시작 직후 5 ~ 10 토큰(≈0.1 ~ 0.2 초) 동안 급격히 상승하는 피크가 관측된다. 이는 모델이 기존 컨텍스트와의 불일치를 즉시 감지한다는 증거이다.

2. Assimilation 영역: 잡음이 지속되는 구간에서는 손실이 급격히 하강해 낮은 평탄값을 유지한다. 이는 잡음 자체가 일정한 통계적 패턴(예: 백색 잡음의 스펙트럼)으로 모델이 쉽게 예측할 수 있게 되며, 기존 음악적 컨텍스트가 ‘잊혀진’ 상태가 됨을 의미한다.

3. Recovery 영역: 잡음이 종료된 뒤에는 손실이 원래 수준으로 복귀하려 하지만, 큰 변동성을 보이며 완전한 회복이 지연된다. 이는 모델이 노출 편향(Exposure Bias)으로 인해 오류 후에 자체 생성된 토큰에 과도히 의존하게 됨을 보여준다.

통계적으로는 잡음 길이와 평균 손실 차이 사이에 Pearson·Spearman r < −0.85 (p < 0.001)의 강한 음의 상관관계가 확인되었으며, 이는 모델 규모와 데이터 종류(TrainingSet, Generated, OOD)와 무관하게 일관된다. YU​E 1 B 모델에서도 동일한 경향이 재현되었으며, 특히 생성된 샘플에서는 절대 손실값이 오히려 낮아지는 현상이 관찰돼 절대 손실만으로 품질을 판단할 수 없음을 강조한다.

또한, 잡음 대신 Order Shuffling(구간 순서 뒤섞기) 실험을 수행했을 때도 동일한 3단계 패턴이 나타났다. 짧은 구간 뒤섞기는 피크만 유발하고, 긴 구간 뒤섞기는 모델이 새로운 순서에 빠르게 적응해 손실이 크게 변하지 않는다. 이는 잡음이 아닌 구조적 교란에서도 모델이 장기적 음악적 구조를 인식하지 못한다는 점을 시사한다.

결론적으로, 절대 손실값은 “음악이 깨졌는가”를 판단하기에 부적합하고, 손실 곡선의 동적 프로파일—특히 피크 높이와 지속 시간, 그리고 회복 단계의 변동성—이 모델의 음악적 무결성 감지 능력을 더 잘 반영한다는 새로운 평가 패러다임을 제시한다. 이는 향후 손실 기반 훈련 목표를 재설계하거나, 손실 프로파일을 활용한 라벨‑프리 자동 평가 지표 개발에 중요한 이론적 기반을 제공한다.