시맨틱 유사성을 활용한 쿼리 추천 순위 학습

초록

본 논문은 검색 로그에서 사용자가 수행한 쿼리 재작성 패턴을 분석하여, 원본 쿼리와 의미적으로 유사하거나 주제 전환을 일으키는 추천 쿼리를 자동으로 선정하는 방법을 제안한다. 클릭 기반, 토픽 기반, 세션 기반의 세 가지 순위 전략을 결합하고, 이를 지도 학습 모델에 적용해 추천 쿼리와 원본 쿼리 사이의 시맨틱 유사성을 극대화하면서 다양성을 유지한다. 일본어 웹 검색 로그를 이용한 실험 결과, 세 전략을 통합한 모델이 각각 단독으로 사용할 때보다 유의미하게 높은 성능을 보였다.

상세 분석

이 연구는 검색 엔진 사용자가 쿼리를 재작성하는 과정에서 두 가지 주요 목적을 발견한다. 첫째는 원래 의도를 더 구체화하거나 확장하는 ‘포커싱’ 형태이며, 둘째는 새로운 정보 탐색을 위해 주제를 약간 전환하는 ‘시프트’ 형태이다. 기존 연구는 주로 쿼리 확장에 초점을 맞추었으나, 시프트형 추천이 사용자의 탐색 효율을 크게 향상시킬 수 있음을 강조한다.

논문은 세 가지 독립적인 순위 전략을 설계한다. 클릭 기반 전략은 사용자가 특정 쿼리 결과에서 클릭한 문서와 연관된 다른 쿼리를 추출한다. 여기서 클릭률, 클릭 위치, 클릭 후 체류 시간 등을 정량화해 해당 쿼리의 품질을 점수화한다. 토픽 기반 전략은 LDA와 같은 토픽 모델링을 이용해 쿼리와 문서의 토픽 분포를 추정하고, 코사인 유사도로 쿼리 간 유사성을 측정한다. 이를 통해 의미적으로 가까운 쿼리를 찾아낸다. 세션 기반 전략은 동일 사용자 세션 내에서 연속적으로 발생한 쿼리 쌍을 분석해 전후 관계를 모델링한다. 시간 간격, 세션 길이, 재작성 패턴 등을 특징으로 활용한다.

이 세 전략에서 도출된 점수와 특징들을 하나의 피처 벡터로 결합하고, 라벨은 인간 평가자에 의해 ‘포커싱’ 혹은 ‘시프트’로 구분된 추천 쿼리 여부로 설정한다. 지도 학습에는 Gradient Boosted Decision Trees (GBDT)를 적용했으며, 손실 함수는 시맨틱 유사성을 반영하는 코사인 손실과 다양성 보상을 위한 정규화 항을 동시에 최소화하도록 설계했다.

실험은 일본어 검색 엔진 로그(수백만 세션)에서 수행되었다. 평가 지표는 NDCG@10, MAP, 그리고 다양성을 측정하는 ERR-IA를 사용했다. 결과는 세 개별 전략이 각각 평균 NDCG 0.62, 0.58, 0.60을 기록한 반면, 통합 모델은 0.71로 현저히 향상되었으며, 특히 시프트형 추천에서 ERR-IA 점수가 15% 상승했다. 이는 의미적 유사성을 유지하면서도 다양한 탐색 경로를 제공함을 의미한다.

또한, 오류 분석을 통해 클릭 기반 전략이 인기 있는 쿼리에 편향되는 경향이 있음을 확인했으며, 토픽 기반 전략은 희소한 장기 기억 쿼리에서 강점을 보였다. 세션 기반 전략은 사용자의 의도 변화를 포착하는 데 유용했지만, 세션 길이가 짧을 경우 신뢰도가 낮아지는 한계가 있었다. 이러한 약점을 보완하기 위해 피처 가중치를 동적으로 조정하는 메타-학습 기법을 제안했으며, 초기 실험에서 추가 3%의 성능 향상을 달성했다.

결론적으로, 이 논문은 클릭, 토픽, 세션 정보를 통합한 다중-전략 학습 프레임워크가 쿼리 추천의 정확도와 다양성을 동시에 개선할 수 있음을 입증한다. 향후 연구에서는 실시간 온라인 학습, 다언어 확장, 그리고 사용자 개인화 모델과의 결합을 통해 보다 정교한 추천 시스템을 구축할 여지를 제시한다.