다중 보상 직접 선호 최적화로 음악 생성 품질 향상

초록

MR‑FlowDPO는 흐름‑매칭 기반 텍스트‑투‑뮤직 모델에 직접 선호 최적화(DPO)를 적용하고, 텍스트 정합성, 음질, 의미 일관성 세 가지 보상을 동시에 활용한다. 자동 생성된 보상 점수를 이용해 강력한 우위(pair) 데이터를 만들고, 이를 통해 모델을 미세조정한다. 또한 학습된 보상을 프롬프트에 삽입해 추론 단계에서도 품질을 높인다. 실험 결과, 기존 최첨단 모델 대비 음질·텍스트 일치·음악성 모두에서 인간 청취자 선호도가 크게 상승했다.

상세 분석

본 논문은 최근 급부상하고 있는 흐름‑매칭(Flow‑Matching) 기반 음악 생성 모델에 직접 선호 최적화(Direct Preference Optimization, DPO)를 적용한 최초의 시도라 할 수 있다. 흐름‑매칭은 확률 밀도 변환을 벡터 필드 학습으로 전환하는 최신 접근법으로, 기존 디퓨전 모델보다 샘플링 효율성이 뛰어나지만 인간 청취자의 주관적 선호를 직접 반영하지 못한다는 한계가 있었다. 저자들은 이 문제를 해결하기 위해 세 가지 독립적인 보상 함수를 설계하였다.

1. 텍스트 정합성 보상: CLAP(Contrastive Language‑Audio Pre‑training) 모델을 이용해 텍스트와 오디오 임베딩 간 코사인 유사도를 점수화한다. 음악 전용 CLAP 가중치를 사용해 장르·악기·템포 등 구체적 음악 요소까지 평가한다.

2. 음질 보상: Tjandra et al.이 제안한 오디오 미학 점수 예측기를 활용한다. 이 모델은 500시간 이상의 다양한 오디오 데이터를 학습했으며, 명료도, 다이내믹스, 주파수 균형, 공간감 등을 종합해 1‑10 점의 스칼라 값을 출력한다.

3. 의미 일관성 보상: HuBERT 기반의 자체 학습된 음악 전용 모델(HuBER‑T)을 재훈련하여, 마스크드 언어 모델링 목표로 얻은 토큰 시퀀스의 로그 가능도를 측정한다. 토큰 클러스터링을 통해 1024개의 중심을 만들고, 각 프레임별 가장 높은 확률 토큰을 선택해 전체 시퀀스의 평균 로그 확률을 의미 일관성 점수로 정의한다.

이 세 보상을 동시에 활용하기 위해 저자들은 “다중 보상 강우위(Multi‑Reward Strong Domination, MRSD)” 알고리즘을 고안했다. 텍스트 프롬프트당 k개의 샘플을 생성하고, 보상 차이가 95번째 백분위수 이상인 경우를 ‘주축 보상’으로, 나머지 보상에서는 중간값(50번째 백분위수) 이상의 차이를 보이는 경우를 ‘보조 보상’으로 설정한다. 이렇게 선정된 (우수 샘플, 열등 샘플) 쌍을 DPO 손실에 삽입함으로써, 모델이 모든 보상 축에서 우수 샘플을 선호하도록 학습한다.

학습 단계에서는 흐름‑매칭 벡터 필드 u_t(z;θ)와 목표 벡터 v_t 사이의 L2 차이를 최소화하는 기존 손실에, DPO‑특화 로그 시그모이드 손실을 추가한다. 이는 기존 디퓨전‑DPO와 유사하지만, 노이즈 대신 벡터 필드 차이를 직접 비교한다는 점에서 차별화된다.

추론 단계에서는 위에서 학습된 세 보상 점수를 프롬프트에 “보상 프롬프트” 형태로 삽입한다. 예를 들어 “high production quality, strong rhythmic consistency”와 같은 텍스트를 추가함으로써 모델이 해당 보상에 가중치를 두고 샘플을 생성하도록 유도한다.

실험에서는 MelodyFlow‑1B와 StableAudio 등 최신 흐름‑매칭 모델을 베이스라인으로 사용했으며, 객관적 지표(음질‑SNR, 텍스트‑오디오 유사도, 리듬 안정성)와 인간 청취자 설문을 모두 수행했다. 모든 평가 항목에서 MR‑FlowDPO는 통계적으로 유의미한 개선을 보였으며, 특히 의미 일관성 보상이 리듬 안정성과 멜로디 구조를 크게 향상시켰다.

이 논문의 주요 기여는 (1) 다중 보상을 결합한 DPO 프레임워크를 흐름‑매칭 모델에 적용한 점, (2) 음악 전용 HuBER‑T 기반 의미 일관성 보상을 설계해 음악성 평가의 모호성을 정량화한 점, (3) 보상 기반 프롬프트 삽입을 통해 추론 단계에서도 품질을 제어할 수 있게 한 점이다. 향후 연구에서는 보상 함수를 더욱 세분화하고, 사용자 개인화된 선호를 반영하는 메타‑학습 기법과 결합하는 방향이 기대된다.