검색 엔진 클릭 지표의 반사실 추정 및 최적화

**1. 서론** 검색 엔진의 품질을 평가하고 개선하기 위해서는 사용자 클릭, 구매, 체류 시간 등 실제 피드백을 반영한 온라인 메트릭이 필수적이다. 그러나 새로운 알고리즘을 적용하면 SERP가 달라지고, 기존 로그만으로는 사용자가 어떻게 반응했을지를 알 수 없는 ‘반사실’ 문제가 발생한다. 기존에는 이러한 메트릭을 측정하기 위해 A/B 테스트를 수행했지만, 이는 비용·시간이 많이 들고, 여러 후보 모델을 동시에 비교하기 어렵다. 따라서 논문은 오프라인 로그만으로도 정확한 추정과 최적화를 가능하게 하는 방법을 모색한다. **2. 컨텍스트 밴드릿 형식화** 문제를 컨텍스트 밴드릿(framework)으로 모델링한다. 매 라운드마다 환경은 컨텍스트 x와 각 행동 a∈A에 대한 보상 r_a를 생성하고, 학습자는 x만을 보고 행동 a를 선택한다. 선택된 행동에 대한 보상만 관찰 가능하므로, 정책 π의 기대 보상 V(π)=E_x,r