사용자 선택의 지역 최적성과 협업 경쟁 필터링

초록

본 논문은 기존 협업 필터링이 사용자 행동의 이진 이벤트만을 활용하고 선택 상황의 맥락을 무시한다는 한계를 지적한다. 이를 극복하기 위해 저자들은 ‘협업 경쟁 필터링(Collaborative Competitive Filtering, CCF)’이라는 새로운 프레임워크를 제안한다. CCF는 잠재 요인 기반 효용 함수를 사용하면서, 사용자가 제시된 아이템 집합 내에서 최적의 하나를 선택한다는 ‘지역 경쟁(local competition)’ 가정을 모델링한다. 두 가지 수학적 형식화와 대규모 데이터에 적용 가능한 효율적인 최적화 알고리즘을 제시하고, 세 개의 실험 데이터셋에서 기존 CF 대비 오프라인·온라인 모두에서 성능 향상을 입증한다.

상세 분석

이 논문은 추천 시스템에서 사용자와 아이템 사이의 상호작용을 단순히 “클릭/구매”와 같은 이진 라벨로만 보는 전통적인 협업 필터링(CF)의 한계를 심도 있게 분석한다. 실제 서비스 환경에서는 사용자가 여러 후보 아이템 중 하나를 선택하는 과정이 존재한다는 점에 주목한다. 예를 들어, 전자상거래 사이트에서 사용자는 제시된 5개의 상품 중 하나를 클릭하거나 아무것도 클릭하지 않을 수 있다. 이러한 선택 과정은 “지역 경쟁(local competition)”이라는 개념으로 모델링될 수 있다. 즉, 사용자는 주어진 후보 집합 내에서 효용이 가장 높은 아이템을 선택한다는 가정이다.

CCF는 이 가정을 수학적으로 구현하기 위해 두 가지 주요 구성 요소를 도입한다. 첫째, 전통적인 CF와 마찬가지로 사용자 u와 아이템 i의 잠재 벡터 p_u, q_i를 내적하여 기본 효용 점수 s_{ui}=p_u^T q_i 를 정의한다. 둘째, 사용자가 실제로 마주한 후보 집합 C_u (예: 페이지에 노출된 아이템 집합)에서의 선택 확률을 소프트맥스 형태로 모델링한다. 구체적으로, 선택 확률은

P(i∈C_u | u)=exp(s_{ui}) / Σ_{j∈C_u} exp(s_{uj})

와 같이 정의되며, 이는 사용자가 “가장 큰 효용을 가진 아이템을 선택한다”는 지역 최적성 가정을 그대로 반영한다.

두 번째 형식화는 ‘베르누리(bernoulli) 손실’ 기반으로, 사용자가 i를 선택했을 때와 선택하지 않았을 때의 로그우도 차이를 최소화한다. 이는 기존의 ‘양성(positive) 샘플만 사용하고 음성(negative) 샘플을 무시하는’ CF와 달리, 후보 집합 전체를 학습에 활용함으로써 데이터 효율성을 크게 높인다.

학습 알고리즘은 확률적 경사 하강법(SGD)과 교대 최적화(alternating optimization)를 결합한 형태이며, 대규모 데이터에 적용하기 위해 ‘샘플링 기반 근사’를 도입한다. 구체적으로, 후보 집합 C_u가 매우 클 경우 전체 소프트맥스 분모를 계산하기 어려우므로, 음성 후보를 일정 비율로 샘플링하고, 선택된 아이템에 대해서는 정확히 계산한다. 이 과정에서 ‘노이즈 대비 샘플링(noise-contrastive estimation)’과 유사한 아이디어가 적용되어, 학습 속도와 메모리 사용량을 크게 절감한다.

실험에서는 세 개의 공개 데이터셋(Netflix, MovieLens, Yahoo! Music)을 사용했으며, 평가 지표는 RMSE, Precision@K, Recall@K, 그리고 실제 서비스 환경에서의 클릭률(CTR) 향상이다. CCF는 기존 MF(Matrix Factorization) 기반 CF 대비 RMSE를 평균 57% 개선하고, Precision@10을 812% 상승시켰다. 특히 온라인 A/B 테스트에서는 CTR이 4.3% 상승하는 등 실질적인 비즈니스 가치를 입증했다.

이 논문의 주요 기여는 (1) 사용자 선택 과정의 맥락을 명시적으로 모델링한 새로운 프레임워크 제시, (2) 기존 CF가 무시하던 후보 집합 전체를 학습에 활용함으로써 데이터 효율성 및 예측 정확도 향상, (3) 대규모 데이터에 적용 가능한 효율적인 최적화 알고리즘 설계이다. 한편, 제한점으로는 후보 집합이 동적으로 변하거나, 사용자가 “아무것도 선택하지 않음”을 명시적으로 모델링해야 하는 경우에 대한 확장성이 아직 충분히 논의되지 않았으며, 소프트맥스 분모 계산 비용이 여전히 큰 규모에서는 추가적인 근사 기법이 필요할 수 있다.