밴딧으로 푸는 콜드 스타트 추천 시스템

초록

본 논문은 사용자·아이템에 대한 부가 정보가 전혀 없는 상황에서, 기존의 배치형 행렬 분해 방식이 갖는 콜드 스타트 문제를 온라인 밴딧 프레임워크로 전환한다. 행렬 분해와 컨텍스트 밴딧을 연결해 탐색·활용 균형을 효율적으로 조절하는 새로운 알고리즘을 제안하고, 공개 데이터셋을 통해 실험적으로 그 효과를 입증한다.

상세 분석

이 연구는 추천 시스템에서 가장 난제 중 하나인 콜드 스타트 문제를 기존의 RMSE 기반 배치 학습에서 벗어나 순차적 의사결정 문제로 재정의한다. 저자들은 사용자·아이템에 대한 메타데이터가 전혀 없을 때도, 오직 관측된 평점(또는 클릭)만을 이용해 잠재 요인 공간을 추정할 수 있음을 전제로 한다. 기존 행렬 분해는 전체 평점 행렬을 저차원 행렬 U·Vᵀ 로 근사하고, 정규화된 손실 함수를 최소화하는 방식으로 파라미터를 학습한다. 그러나 이 방식은 (1) 평점의 절대값 차이를 동일하게 취급해 높은 평점과 낮은 평점 사이의 차이를 구분하지 못하고, (2) 새로운 사용자·아이템이 등장했을 때 즉시 예측이 불가능하며, (3) 시간 순서와 탐색 비용을 무시한다는 근본적인 한계를 가진다.

논문은 이러한 한계를 극복하기 위해 밴딧 이론을 도입한다. 전통적인 다중 팔 밴딧은 고정된 팔 집합에 대해 탐색‑활용 트레이드오프를 해결하지만, 추천 시스템에서는 사용자가 지속적으로 추가되고 아이템도 계속해서 늘어난다. 저자들은 이를 “밴딧이 지속적으로 갱신되는 상황”으로 모델링하고, 각 사용자·아이템을 하나의 팔로 간주한다. 특히, 행렬 분해에서 얻은 잠재 요인 벡터를 컨텍스트 벡터로 활용해 LinUCB와 유사한 상한 신뢰구간(Upper Confidence Bound) 정책을 설계한다. 이 정책은 현재까지 관측된 평점으로부터 추정된 평균 보상(=예상 평점)과, 해당 사용자·아이템에 대한 불확실성(=분산) 사이의 가중합을 최대화하는 아이템을 선택한다.

핵심 알고리즘은 다음과 같다. (i) 초기에는 랜덤 혹은 최소한의 탐색을 통해 새로운 사용자·아이템에 대한 몇 개의 평점을 수집한다. (ii) 수집된 평점을 이용해 SGD 혹은 ALS와 같은 방법으로 U와 V를 온라인 방식으로 업데이트한다. (iii) 각 시점 t에서 사용자 i에게 아이템 j를 추천할 확률은 ˆU_i·ˆV_jᵀ + α·√(v_j A_i⁻¹ v_jᵀ) 로 계산되며, 여기서 A_i는 사용자 i가 관측한 컨텍스트 행렬의 누적합, α는 탐색 정도를 조절하는 하이퍼파라미터이다. (iv) 선택된 아이템에 대한 실제 평점이 관측되면 즉시 모델을 재학습한다.

이 접근법은 두 가지 중요한 장점을 제공한다. 첫째, 행렬 분해와 밴딧 탐색을 동시에 수행함으로써 “어떤 평점을 먼저 알아야 전체 성능이 향상되는가”라는 질문에 답한다. 둘째, 온라인 업데이트와 신뢰구간 기반 선택 덕분에 새로운 사용자·아이템에 대한 초기 성능이 급격히 개선된다. 실험에서는 인공 데이터와 MovieLens, Netflix와 같은 실제 데이터셋을 사용해, 제안 알고리즘이 기존 배치 기반 MF, PureUCB, LinUCB 등에 비해 누적 보상과 초기 RMSE 모두에서 우수함을 보여준다. 특히, 초기 몇 번의 추천 단계에서 평균 평점 오차가 크게 감소하는 것이 눈에 띈다.

이 논문은 추천 시스템 연구에 밴딧 이론을 자연스럽게 접목시킨 선구적인 작업으로, 향후 사이드 정보(예: 사용자 프로필, 아이템 메타데이터)와 결합하거나, 다중 목표(예: 다양성, 공정성)와 통합하는 방향으로 확장 가능성을 제시한다.