인터랙티브 개인화 음악 추천에서 탐색 강화학습 접근법

초록

본 논문은 기존의 그리디 방식 음악 추천이 장기적인 만족도를 저해한다는 점을 지적하고, 사용자 선호를 탐색‑활용(Exploration‑Exploitation) 균형으로 다루기 위해 베이지안 모델과 다중 팔 밴딧(Multi‑Armed Bandit) 프레임워크를 결합한 강화학습 기반 시스템을 제안한다. 제안 모델은 오디오 콘텐츠와 신규성(Novelty)을 동시에 고려하며, 조각별 선형 근사와 변분 추론을 통해 실시간 추론을 가능하게 한다. 시뮬레이션과 실제 사용자 실험을 통해 기존 협업 필터링 기반 그리디 추천보다 높은 정확도와 더 풍부한 플레이리스트 생성을 확인하였다.

상세 분석

이 논문은 음악 추천 시스템이 직면한 두 가지 핵심 문제—(1) 장기적인 사용자 만족을 위해 새로운 곡을 탐색해야 하는 필요성, (2) 플레이리스트 생성 시 곡 간의 연관성을 고려해야 하는 복합성—을 하나의 통합 프레임워크로 해결하고자 한다. 핵심 아이디어는 사용자‑곡 매트릭스를 확률적 모델링하여 각 곡에 대한 평점 분포를 베이지안 방식으로 추정하고, 이 분포의 평균과 분산을 동시에 활용해 탐색‑활용 트레이드오프를 수행하는 것이다.

1. 베이지안 평점 모델

   • 사용자 u와 곡 i의 평점 r_ui를 연속형 확률 변수로 가정하고, 오디오 특징 φ_i와 사용자 선호 파라미터 θ_u를 선형 결합한 평균 μ_ui = θ_u^T φ_i 로 표현한다.
   • 신규성(Novelty) 요소를 추가하기 위해 곡의 인기 정도와 시간에 따른 감쇠 함수를 베이지안 사전으로 포함, 이는 사용자가 익숙하지 않은 곡을 추천받을 때 기대 보상이 상승하도록 설계되었다.
   • 사후 분포는 다변량 정규분포 형태를 유지하지만, 정확한 계산이 비용이 많이 들기 때문에 조각별 선형 근사(piecewise‑linear approximation)를 도입한다.

2. 다중 팔 밴딧과 Bayes‑UCB

   • 각 곡을 밴딧의 팔로 간주하고, 현재 사후 분포에서 정량화된 상위 신뢰구간(quantile)을 이용해 Bayes‑UCB 정책을 적용한다. 이는 “불확실성에 낙관적”인 선택을 보장해, 평균이 낮더라도 분산이 큰 곡을 일정 확률로 선택하게 만든다.
   • ε‑greedy와 달리 고정된 탐색 비율이 아니라, 사후 불확실성에 따라 동적으로 탐색 강도를 조절한다는 점이 큰 장점이다.

3. 변분 추론 알고리즘

   • 실시간 서비스에 필수적인 빠른 사후 업데이트를 위해 변분 베이지안 방법을 채택한다. 구체적으로는 평균과 공분산을 파라미터화한 가우시안 변분 분포 q(θ,β) 를 사용하고, ELBO(Evidence Lower Bound)를 최대화하는 좌표 상승법을 적용한다.
   • 조각별 선형 근사와 결합해 복잡도는 O(K·D) 로, 여기서 K는 곡 수, D는 특징 차원이며, 기존 MCMC 기반 방법에 비해 수십 배 빠른 추론이 가능하다.

4. 플레이리스트 생성 통합

   • 기존 연구는 추천 → 플레이리스트 순서 배치를 두 단계로 나누지만, 본 모델은 곡 간 전이 확률을 베이지안 평점 모델에 내재화한다. 즉, 현재 선택된 곡의 특징이 다음 곡 선택에 영향을 미치도록 상태‑전이 구조를 단순화한 형태로 구현한다. 이는 MDP보다 가벼운 연산으로 연속적인 청취 흐름을 제공한다.

5. 실험 및 사용자 연구

   • 시뮬레이션에서는 합성 데이터에서 Cold‑Start 상황을 재현, Bayes‑UCB 기반 밴딧이 평균 정밀도(Precision)와 NDCG에서 기존 CF‑greedy 대비 12~18% 향상을 보였다.
   • 실제 사용자 실험(30명, 2주간)에서는 탐색을 포함한 시스템이 사용자 만족도 설문에서 평균 4.3/5 점을 기록, 그리디 시스템의 3.7점보다 유의미하게 높았다. 또한, 플레이리스트 다양성 지표(Diversity)와 신규 곡 청취 비율이 각각 22%와 35% 상승했다.

핵심 기여는 (1) 베이지안 평점 모델에 신규성 요소를 정량화한 점, (2) 변분 추론과 조각별 선형 근사를 결합해 실시간 밴딧 정책을 구현한 점, (3) 추천과 플레이리스트 생성을 하나의 확률 모델로 통합한 점이다. 한계점으로는 곡 특징이 고정된 오디오 메타데이터에 의존한다는 점과, 현재는 단일 사용자‑세션에 초점을 맞추어 다중 사용자 동시 학습에 대한 확장성이 미흡하다는 점을 들 수 있다. 향후 연구에서는 딥러닝 기반 음향 임베딩을 사전으로 활용하고, 협업 정보를 베이지안 사전과 결합해 멀티‑유저 환경에서도 효율적인 탐색‑활용을 구현할 계획이다.