필터링된 근사 최근접 이웃 검색 비용 예측 및 조기 종료 최적화

초록

본 논문은 벡터 유사도와 구조화된 속성 필터를 결합한 필터링된 AKNN 검색의 비용을 정확히 예측하는 E2E 프레임워크를 제안한다. 초기 탐색 단계에서 필터‑벡터 상관성을 추출해 회귀 모델에 입력함으로써 검색 예산을 동적으로 할당하고, 이를 기반으로 조기 종료 전략을 적용한다. 실험 결과, 기존 LAET·DARTH 등 대비 2∼3배 빠른 응답 시간을 달성하면서 높은 검색 정확도를 유지한다.

상세 분석

이 논문은 고차원 벡터와 속성 필터가 결합된 복합 쿼리에서 발생하는 비용 변동성을 정량화하려는 시도이다. 기존 그래프 기반 인덱스(HNSW 등)는 전통적으로 전역 탐색(그리디 라우팅)과 지역 확장(빔 서치) 두 단계로 구성되며, 필터링은 사후(PostFiltering) 혹은 사전(PreFiltering) 방식으로 적용된다. 사전 방식은 그래프 연결성을 크게 약화시켜 검색 실패 위험이 크고, 사후 방식은 필터에 맞지 않는 노드까지 거리 계산을 수행하므로 비용이 급증한다. 특히 필터와 벡터 분포가 상관관계가 낮은 경우(예: 고가 제품 이미지가 저가 필터와 매치되지 않을 때) 기존의 거리‑기반 런타임 특징만으로는 비용을 정확히 추정하기 어렵다.

E2E는 “Early Probing”이라는 무손실 초기 탐색 단계를 도입한다. 탐색 초기에 몇 단계만 진행하면서 얻은 ‘local valid ratio’(현재 탐색된 노드 중 필터를 만족하는 비율)와 ‘filter‑vector density’(필터가 만족하는 노드가 벡터 공간에 얼마나 밀집해 있는가) 등을 실시간 특징으로 수집한다. 이 특징들은 정적 통계(전역 선택도, 평균 차수 등)와 결합되어 회귀 모델에 입력되며, 모델은 전체 검색에 필요한 확장 횟수(또는 efsearch 파라미터)를 예측한다. 예측값은 검색 루프에 바로 적용되어, 목표 정확도(k‑recall)를 만족하면서도 불필요한 확장을 중단한다.

핵심 기여는 다음과 같다. 첫째, 필터와 벡터 사이의 ‘Local Correlation(ρ_local)’을 정량화하고, 이를 비용 모델에 명시적으로 포함시켰다. 둘째, 초기 탐색 비용을 기존 그래프 탐색 흐름에 자연스럽게 녹여내어 추가 연산 오버헤드를 0으로 만들었다. 셋째, 예측된 비용을 기반으로 동적 검색 예산을 할당함으로써, 기존 정적 파라미터 기반 시스템이 겪는 ‘easy query over‑provision’과 ‘hard query latency spike’를 동시에 완화한다.

실험에서는 라벨 필터와 범위 필터가 혼합된 대규모 e‑commerce 이미지·텍스트 데이터셋을 사용했으며, 전통적인 LAET·DARTH와 비교해 평균 응답 시간이 2배에서 3배까지 감소했다. 특히 필터‑벡터 상관성이 낮은 ‘hard’ 쿼리에서 비용 예측 정확도가 크게 개선되어, 목표 recall(≥0.9) 하에서도 높은 효율성을 보였다. 코드와 모델 파라미터는 공개되어 재현성을 확보하였다.