추천 시스템 평가를 위한 새로운 프로토콜

초록

본 논문은 산업 현장에서 자동 추천 시스템의 성능과 부가 가치를 다각도로 분석하기 위해 4가지 핵심 기능(결정 지원, 비교 지원, 발견 지원, 탐색 지원)으로 구조화하고, 각 기능에 맞는 평가 지표를 제시한다. 새로운 지표인 평균 영향도(AMI)를 도입하여 개인화 추천의 실제 효과를 측정하고, Netflix 데이터셋을 이용해 KNN과 MF 두 알고리즘을 실험한다. 사용자·아이템 세분화를 통해 성능이 구간별로 크게 달라짐을 확인하고, RMSE와 추천 품질 사이에 명확한 상관관계가 없음을 강조한다.

상세 요약

이 연구는 기존 추천 시스템 평가가 주로 정확도(RMSE, MAE)와 정밀도·재현율 같은 전통적 지표에 의존하는 한계를 지적한다. 저자는 추천 시스템이 단순히 “맞는 아이템을 제시”하는 것을 넘어, 사용자가 “결정을 내리게 돕고”, “다른 옵션과 비교하게 하며”, “새로운 아이템을 발견하게 하고”, “다양한 탐색 경로를 제공”하는 네 가지 기능을 수행한다는 점을 강조한다. 이러한 기능별 요구사항을 반영해 평가 프로토콜을 설계했으며, 각 기능에 특화된 지표를 정의한다. 예를 들어, ‘결정 지원’은 정확도와 신뢰도(예: 예측 오차) 중심으로, ‘비교 지원’은 순위 차이와 상대적 선호도 일관성을, ‘발견 지원’은 장기적인 사용자 만족도와 신선도, ‘탐색 지원’은 다양성·새로움·사용자 체류 시간 등을 측정한다.

특히 새롭게 제안된 평균 영향도(AMI)는 추천이 사용자의 행동에 미치는 실제 영향을 정량화한다. AMI는 추천 아이템의 클릭·구매 확률을 베이스라인(무작위 혹은 기존 정책)과 비교해 상대적 향상을 평균화한 값으로, 단순 정확도와는 별개로 비즈니스 가치를 직접 반영한다. 이는 “추천이 얼마나 실질적인 변화를 일으키는가”를 평가하는 데 유용하다.

실험에서는 널리 사용되는 Netflix 데이터셋을 기반으로 K-Nearest Neighbors(KNN)와 Matrix Factorization(MF) 두 알고리즘을 적용했다. 데이터는 사용자와 아이템을 각각 ‘활동량·인기도’ 기준으로 고·중·저 세그먼트로 나누어, 알고리즘이 각 구간에서 어떻게 다르게 작동하는지 정밀 분석했다. 결과는 다음과 같다. 고활동 사용자·고인기 아이템 구간에서는 MF가 전반적으로 낮은 RMSE를 보였지만, AMI와 다양성 지표에서는 KNN이 더 높은 성과를 냈다. 반대로 저활동·저인기 구간에서는 KNN이 예측 정확도는 떨어지지만, 새로운 아이템을 발견시키는 비율이 높아 AMI가 크게 상승했다.

가장 중요한 발견은 RMSE와 실제 추천 품질 사이에 일관된 상관관계가 없다는 점이다. 즉, 예측 오차가 작다고 해서 사용자가 실제로 만족하거나 비즈니스 목표를 달성한다는 보장이 없으며, 평가 지표 선택이 시스템 설계와 운영에 결정적인 영향을 미친다. 이러한 결과는 평가 프로토콜이 다차원적이어야 함을 실증적으로 보여준다.

본 논문은 평가 프레임워크를 제시함으로써, 기업이 단순 정확도 중심이 아닌, 사용자 경험·비즈니스 임팩트·신뢰성 등을 종합적으로 고려한 추천 시스템을 설계·운영하도록 가이드한다. 향후 연구에서는 실시간 A/B 테스트와 연계한 동적 AMI 측정, 그리고 다른 도메인(음악, 전자상거래 등)에서의 적용 가능성을 탐색할 여지가 있다.