문맥 밴딧 기반 뉴스 기사 추천 알고리즘의 편향 없는 오프라인 평가

문맥 밴딧 알고리즘은 Digg, Yahoo! Buzz와 같은 온라인 추천 시스템 및 일반적인 뉴스 추천에 널리 활용되고 있다. 이러한 응용 분야에서 새로운 알고리즘의 효과를 **오프라인**에서 평가하는 것은 온라인 사용자 경험을 보호하기 위해 필수적이지만, “부분 라벨(partial‑label)” 특성 때문에 매우 어렵다. 기존 관행은 해당 문제에 맞는 시뮬레이터를 구축한 뒤, 그 시뮬레이터 상에서 알고리즘을 실행하는 방식이다. 그러나 시뮬레이터를 만드는 과정 자체가 복잡하고, 모델링 편향이 불가피하게 도입된다. 본 논문에서는 문맥 밴딧 알고리즘 평가를 위한 **리플레이(replay)** 방법론을 제안한다. 시뮬레이터 기반 접근과 달리, 이 방법은 완전히 데이터 기반이며 다양한 응용에 손쉽게 적용할 수 있다. 무엇보다도, 제안 방법은 이론적으로 편향 없는 평가를 제공함을 증명한다. Yahoo! 프론트 페이지에서 수집한 대규모 뉴스 기사 추천 데이터셋을 이용한 실험 결과는 이론적 분석과 일치한다. 또한, 여러 문맥 밴딧 알고리즘에 대해 오프라인 리플레이 평가와 온라인 버킷 평가를 비교한 결과, 오프라인 평가가 정확하고 효과적임을 확인하였다.