대규모 최근접 이웃 탐색을 위한 kNN 그래프 기반 스케일러블 방법

초록

본 논문은 두 평균 트리를 이용한 효율적인 kNN 그래프 구축과 다중 단계 잔차 벡터 양자화를 활용한 역인덱싱을 결합하여, 향상된 힐클라이밍 탐색 절차를 제안한다. 제안 방법은 메모리 사용량을 최소화하면서 100%에 근접한 리콜을 달성하고, 기존 방법 대비 검색 속도를 크게 향상시킨다.

상세 분석

이 논문은 대규모 고차원 데이터에서 최근접 이웃 탐색(NNS)을 효율적으로 수행하기 위한 두 가지 핵심 기법을 제시한다. 첫 번째는 기존의 kNN 그래프 구축 비용이 O(D·n²) 수준에 머물렀던 문제를 해결하기 위해, 두 평균(2‑means) 클러스터링 기반의 divide‑and‑conquer 전략을 적용한 것이다. 데이터 집합을 최대 50개의 샘플을 포함하는 작은 클러스터로 재귀적으로 분할하고, 각 클러스터 내부에서 완전 탐색을 수행함으로써 kNN 리스트를 갱신한다. 이 과정은 클러스터링 단계가 O(n·log n·D) 복잡도를 갖고, 전체 반복 횟수 I₀를 10 이하로 제한하면 전체 그래프 구축 비용은 O(I₀·n·log n·D) 수준으로 크게 감소한다. 두 번째 핵심은 다중 단계 Residue Vector Quantization(RVQ)을 이용한 역인덱싱이다. RVQ는 각 단계에서 잔차를 다시 양자화함으로써 4단계, 각 단계당 256개의 코드북을 사용하면 2³²개의 고유 코드를 생성할 수 있다. 이러한 코드는 벡터의 대략적인 위치 정보를 제공하며, 인덱스 키로 활용되어 매우 작은 메모리(벡터 ID당 4바이트)만으로 대규모 데이터베이스에 대한 역인덱스를 구축한다. 검색 시에는 질의와 인덱스 키 간의 비대칭 거리(Asymmetric Distance)를 계산하고, 상위 몇 개의 키에 해당하는 역목록을 힐클라이밍의 시드(seed)로 사용한다. 힐클라이밍 절차 자체도 개선되었는데, 기존 연구