실시간 클릭 피드백으로 최신 검색 결과를 정교하게 재정렬하기

초록

본 논문은 급변하는 최신 뉴스와 같은 ‘최근성 검색’에서 사용자 클릭 데이터를 활용해 순위를 동적으로 조정하는 방법을 제안한다. 무작위 탐색 버킷을 이용해 편향 없는 오프라인 평가를 수행하고, 클릭 피드백을 실시간으로 반영하는 재랭킹 모델을 설계하였다. 열두 가지 알고리즘을 실제 검색 로그에 적용해 비교한 결과, 쿼리‑문서 일반화, 인기 쿼리 특화, 실시간 적응이라는 세 가지 설계 포인트가 성능 향상에 핵심임을 확인했다.

상세 분석

이 연구는 ‘최근성 검색(recency search)’이라는 특수한 검색 시나리오에 초점을 맞춘다. 일반적인 랭킹 모델은 정적 관련성을 학습해 오래된 문서와 최신 문서를 동일한 기준으로 평가하지만, 뉴스 속보처럼 시시각각 변하는 정보에 대해서는 사용자의 의도가 급격히 변한다. 따라서 모델은 실시간 사용자 행동, 특히 클릭 피드백을 빠르게 흡수해야 한다. 논문은 이를 위해 두 가지 핵심 기법을 도입한다. 첫째, 무작위 탐색 버킷(random exploration bucket)을 운영해 클릭 로그를 수집한다. 이 버킷은 각 검색 결과에 균등 확률로 노출을 시키므로, 수집된 데이터는 ‘반사실험(counterfactual) 평가’를 위한 정확한 확률(Propensity) 정보를 제공한다. 이를 통해 온라인 A/B 테스트 없이도 다양한 알고리즘을 공정하게 오프라인 비교할 수 있다. 둘째, 클릭 피드백을 기반으로 기존 정적 랭킹을 재조정하는 재랭킹(re‑ranking) 파이프라인을 설계한다. 기본 아이디어는 각 쿼리‑문서 쌍에 대해 클릭률(CTR) 혹은 베이지안 스무딩된 클릭 확률을 추정하고, 이를 원래 점수에 가중치로 곱해 최종 순위를 산출하는 것이다.

알고리즘 측면에서는 총 열두 가지 모델을 실험했다. 가장 단순한 형태는 ‘전역 CTR’(전체 클릭 수 대비 노출 수)이며, 이는 최신성 변화를 포착하지 못한다. 이를 개선하기 위해 ‘쿼리‑문서 별 베이지안 CTR’, ‘시간 가중 평균’, ‘Exponential Decay’를 적용해 최근 클릭에 더 높은 가중치를 부여했다. 또한, ‘컨텍스추얼 밴딧(Contextual Bandit)’ 계열인 LinUCB와 Thompson Sampling을 도입해 피드백을 즉시 정책에 반영하도록 설계했다. 피처는 쿼리 텍스트, 문서 메타데이터, 최근 클릭 빈도, 시간 차이 등을 포함했으며, 일부 모델은 Gradient Boosted Decision Tree(GBDT)와 같은 비선형 학습기로 확장했다.

실험 결과는 세 가지 설계 선택이 성능에 결정적 영향을 미친다는 것을 보여준다. 첫째, ‘일반화 vs 특화’ 트레이드오프이다. 인기 쿼리(예: ‘코로나 백신’)에 대해서는 쿼리‑문서 별 모델이 충분히 데이터가 축적돼 높은 정확도를 보였지만, 롱테일 쿼리에서는 데이터가 부족해 일반화된 피처(시간, 문서 카테고리 등)를 활용하는 모델이 더 안정적이었다. 둘째, ‘실시간 적응’이다. 클릭 피드백을 5분 단위로 업데이트하면 급변하는 뉴스에 대한 적시성은 크게 향상되지만, 과도한 업데이트는 노이즈에 민감해 과적합 위험이 있다. 따라서 논문은 ‘지수적 감쇠’를 이용해 오래된 클릭을 점진적으로 감소시키는 방법을 제안했고, 이는 최신성 유지와 안정성 사이의 균형을 맞추는 데 효과적이었다. 셋째, ‘오프라인 반사실험’의 신뢰성이다. 무작위 탐색 버킷을 통해 얻은 Propensity Score를 이용해 Inverse Propensity Scoring(IPW) 추정량을 계산하면, 실제 온라인 서비스에서 기대되는 클릭률과 거의 일치하는 결과를 얻을 수 있었다. 이는 비용이 많이 드는 온라인 실험 없이도 알고리즘을 빠르게 프로토타이핑하고 비교할 수 있게 한다.

전체적으로 이 논문은 최신성 검색에 대한 실용적인 솔루션을 제시함과 동시에, 클릭 피드백을 활용한 실시간 학습 프레임워크를 체계적으로 검증한다는 점에서 학계와 산업계 모두에 의미 있는 기여를 한다. 특히, 무작위 탐색 버킷을 통한 편향 없는 데이터 수집과, 다양한 온라인 학습 알고리즘을 비교 분석한 방법론은 향후 다른 비정형 검색 시나리오(예: 소셜 미디어 트렌드, 실시간 제품 추천)에도 적용 가능할 것으로 기대된다.