무한 메트릭과 q 메트릭을 활용한 초고속 근사 벡터 검색

초록

본 논문은 임의의 거리 함수를 초극초(ultrametric) 혹은 q‑메트릭 공간으로 사상하는 투사 연산자를 제안하고, 이를 통해 VP‑트리 기반 최근접 이웃 탐색을 이론적으로 깊이 ≤ 트리 깊이의 복잡도로 제한한다. 초극초 공간에서는 매 탐색 단계마다 한쪽 서브트리를 완전히 배제할 수 있어 최악‑케이스가 로그 n 수준이 된다. 실제 데이터에선 초극초 거리 계산이 비싸므로, 원본 임베딩을 학습된 신경망으로 매핑해 유클리드 거리로 초극초·q‑메트릭 거리를 근사한다. 실험 결과 q 값을 크게 할수록 검색 속도는 빨라지지만 재현율은 감소함을 확인했으며, 제안 방법은 최신 근사 검색 기법과 경쟁한다.

상세 분석

이 논문은 크게 네 가지 핵심 기여(C1‑C4)를 제시한다. 첫 번째(C1)는 q‑메트릭 공간에서의 VP‑트리 가지치기가 기존 메트릭 공간보다 더 효율적임을 실험적으로 입증한다. q‑메트릭은 거리의 q제곱이 다른 두 거리의 q제곱 합보다 작거나 같은 제약을 가지며, q가 클수록 삼각 부등식의 허용 범위가 축소된다. 따라서 조건 (q‑CI)·(q‑CO)와 같이 q‑제곱을 이용한 비교가 가능해지며, 이는 내부·외부 서브셋 중 하나를 확실히 배제할 확률을 높인다.

두 번째 기여(C2)는 q→∞ 일 때 초극초(∞‑metric) 공간이 되며, 이 경우 강한 삼각 부등식 d(x,y) ≤ max{d(x,z), d(z,y)}가 항상 성립한다. 논문은 이를 정리한 정리 1을 통해, 초극초 공간에서 VP‑트리 탐색 시 매 단계마다 반드시 한쪽 서브트리를 버릴 수 있음을 증명한다. 결과적으로 최악의 비교 횟수는 트리 깊이 h(T) ≤ ⌈log₂ m⌉ 로, 로그 수준의 복잡도를 보장한다.

하지만 실제 고차원 임베딩은 초극초 거리 계산이 전역 최단 경로(∞‑norm 경로) 문제와 동등해 비현실적이다. 이를 해결하기 위해(C3)에서는 기존 연구에서 제시된 “canonical projection”을 차용한다. 이 투사는 원본 거리 행렬을 그래프화하고, 각 쌍에 대해 q‑norm 최단 경로 길이를 계산해 q‑메트릭 혹은 ∞‑metric 거리 행렬을 만든다. 중요한 점은 이 투사가 최근접 이웃을 보존한다는 정리(3.1)이다. 즉, 원본 공간에서의 최단 이웃이 투사 후에도 최단 이웃으로 남는다.

그러나 투사 자체는 O(m²) 혹은 O(m log m) 복잡도를 요구하므로, 쿼리 단계에서 매번 수행할 수 없다. 여기서 C4가 등장한다. 저자들은 원본 임베딩 x를 새로운 보조 임베딩 φ(x)로 매핑하는 신경망 fθ를 학습한다. 학습 목표는 φ(x_i)와 φ(x_j) 사이의 유클리드 거리를, 투사 후 얻은 q‑metric 거리 d_q(x_i, x_j)와 가깝게 만드는 것이다. 이렇게 학습된 fθ는 쿼리 시에 빠르게 φ(x₀)를 계산하고, φ(x₀)와 데이터셋 φ(x) 사이의 유클리드 거리를 이용해 초극초·q‑metric 거리를 근사한다. 따라서 전체 파이프라인은 (1) 데이터셋에 대한 사전 투사(오프라인), (2) fθ 학습, (3) 쿼리 시 φ 계산 + VP‑트리 탐색(온라인)으로 구성된다.

실험에서는 텍스트 임베딩(SBERT), 이미지 임베딩(CLIP) 등 다양한 도메인에서 q 값을 1, 2, 4, ∞ 로 변화시켰다. q가 클수록 평균 비교 횟수는 로그 n에 근접했지만, 근사 거리 오차가 커져 recall@k가 감소한다는 전형적인 정확도‑속도 트레이드오프가 관찰되었다. 특히 ∞‑metric(ultrametric) 경우, 평균 비교 횟수가 1.2 ~ 1.5 배 로그 n 수준에 머물렀으며, recall은 0.85 ~ 0.90 수준을 유지했다. 이는 HNSW, IVF‑PQ 등 최신 근사 검색 기법과 비슷하거나 약간 뒤처지는 수준이지만, 메모리 사용량과 구현 복잡도 면에서 장점을 가진다.

이 논문의 의의는 (i) q‑메트릭이라는 일반화된 거리 개념을 통해 기존 메트릭 기반 인덱싱 구조의 한계를 이론적으로 확장했으며, (ii) 초극초 공간에서의 강한 삼각 부등식이 탐색 복잡도를 로그 수준으로 보장한다는 정리를 제시했다는 점이다. 또한 (iii) 학습 기반 거리 근사를 도입해 비메트릭·비초극초 거리에도 동일한 프레임워크를 적용할 수 있음을 실증했다. 한계점으로는 (a) 사전 투사 비용이 데이터 규모에 따라 크게 늘어날 수 있고, (b) 학습된 근사 함수가 새로운 도메인이나 급격히 변하는 데이터 분포에 대해 일반화가 어려울 수 있다는 점이다. 향후 연구는 (1) 투사 비용을 그래프 스파스화하거나 근사 최단 경로 알고리즘으로 대체, (2) 메타러닝을 통해 fθ를 빠르게 적응시키는 방법을 탐색할 여지가 있다.