쿼리 인식 적응 차원 선택으로 밀집 검색 성능 향상

초록

본 논문은 밀집 검색에서 쿼리마다 중요한 임베딩 차원을 자동으로 선택하는 프레임워크를 제안한다. 레이블이 있는 검색 데이터로부터 차원별 중요도 분포를 오라클 형태로 구축하고, 이를 학습 목표로 삼아 쿼리 임베딩만으로 차원 중요도를 예측하는 작은 전용 모델을 훈련한다. 추론 시에는 예측된 중요도 상위 k 차원만을 남겨 유사도 계산에 사용함으로써, 기존 전체 차원 사용 대비 검색 정확도를 향상시키면서 인덱스 재구축 없이 적용할 수 있다. 실험 결과, 다양한 밀집 인코더와 벤치마크에서 PRF 기반 마스크 및 기존 어댑터 방식보다 일관된 NDCG 개선을 보였다.

상세 분석

이 연구는 밀집 검색에서 고차원 임베딩이 쿼리 수준에서 중복성을 갖는다는 문제점을 정확히 짚어낸다. 기존 DIME·Eclipse와 같은 차원 중요도 추정 방법은 의사관련 피드백(PRF)이나 LLM 생성 문서를 활용해 차원을 가중하지만, 이러한 의사신호는 노이즈에 취약하고, 테스트 시 별도의 히어스틱 절차를 필요로 한다. 반면, 어댑터 기반 방법은 레이블을 이용해 전역 변환을 학습하지만, 모든 쿼리에 동일한 변환을 적용해 쿼리 특유의 차원 패턴을 포착하지 못한다. 논문은 이 두 접근법의 한계를 보완하기 위해 ‘쿼리‑인식 차원 선택’이라는 새로운 패러다임을 제시한다. 핵심 아이디어는 (1) 레이블 기반 학습 데이터에서 각 쿼리‑문서 쌍에 대해 긍정·부정 문서의 평균 임베딩을 구하고, 쿼리와의 좌표별 내적 차이를 이용해 차원별 ‘생각점수’를 산출한다. 이 점수에 온도 파라미터 τ를 적용한 소프트맥스를 통해 확률적 중요도 분포 π_q를 얻는다. (2) 이 π_q를 오라클 목표로 삼아, 고정된 쿼리 임베딩 e_q를 입력으로 하는 단일 완전 연결층 f_θ를 학습한다. 손실은 KL 발산 L(q)=KL(π_q‖ĥπ_q)이며, 이는 차원 중요도 예측이 오라클과 최대한 일치하도록 강제한다. 학습 과정에서 문서 임베딩은 전혀 수정되지 않으며, 오직 쿼리 임베딩만을 사용한다는 점이 구현상의 장점을 제공한다. 추론 단계에서는 예측된 중요도 ĥπ_q에서 상위 k 차원을 선택해 마스크 m(k)_q를 만든 뒤, e_q⊙m(k)_q와 원본 문서 임베딩 간 코사인 유사도를 계산한다. 이때 문서 임베딩과 ANN 인덱스는 그대로 유지되므로, 시스템 재구축 비용이 전혀 들지 않는다. 실험 설계는 Qwen‑Embedding(다중 스케일 학습)과 LLM2VEC 계열 등 7개의 서로 다른 인코더와 SciFact, NFCorpus, MS MARCO 등 3개의 베치마크를 포괄한다. 평가 지표는 NDCG@10이며, k를 2 %100 %까지 변화시켜 성능 곡선을 제시한다. 결과는 (1) 전체 차원 사용 시 baseline보다 평균 35 %p 상승, (2) PRF 기반 DIME·Eclipse 대비 동일 혹은 더 높은 NDCG를 달성, (3) 어댑터 방식보다 훨씬 적은 차원(30 % 이하)만 사용해도 거의 동등하거나 더 좋은 성능을 보임을 입증한다. 특히, Qwen‑4B 모델에서 56 % 차원만 사용해 0.899의 NDCG를 기록, 이는 전체 차원 대비 5 %p 향상이다. 한계점으로는 (a) 차원 선택이 정적인 top‑k 방식에 의존해 쿼리별 중요도 분포의 미세한 변화를 반영하지 못할 수 있다, (b) hard‑negative 샘플링 과정이 데이터마다 민감하게 작동할 가능성이 있다. 향후 연구에서는 동적 k 선택, 혹은 마스크를 연속적인 가중치로 확장하는 방법, 그리고 멀티‑모달 쿼리(이미지·텍스트 혼합)에서의 적용 가능성을 탐색할 여지가 있다. 전반적으로, 레이블 기반 차원 중요도 학습이라는 새로운 시도를 통해 PRF 의존성을 제거하고, 실시간 검색 시스템에 손쉽게 통합 가능한 효율적인 솔루션을 제공한다.