벡터 양자화를 활용한 초고속 최근접 이웃 탐색 알고리즘

초록

본 논문은 데이터 집합을 벡터 양자화 기반으로 재귀적으로 분할하여 검색 트리를 구성하고, “친구 볼로노이 셀” 개념을 도입해 형제 노드 검사를 최소화함으로써 최근접 이웃 탐색 속도를 크게 향상시키는 방법을 제안한다.

상세 분석

이 연구는 기존의 브랜치‑앤‑바운드(Branch‑and‑Bound) 방식과 달리, 데이터의 경험적 분포를 벡터 양자화(VQ) 기법으로 근사화한 뒤, 이를 기반으로 데이터 집합을 다중 레벨의 파티션으로 재귀 분할한다. 양자화 과정에서 각 클러스터 중심은 데이터의 평균적인 위치를 나타내며, 이 중심들을 이용해 Voronoi 다이어그램을 형성한다. 전통적인 방법에서는 트리의 형제 노드들을 일일이 검사하거나, 삼각형 경계에 기반한 단일 거리 하한을 사용해 여러 형제 노드를 동시에 배제할 수 있었다. 그러나 VQ 기반 파티션은 클러스터 경계가 불규칙하고, Voronoi 셀 간의 겹침이 빈번해 단일 테스트만으로 다수의 형제 노드를 제거하기 어렵다.

이를 해결하기 위해 저자들은 “친구 Voronoi 셀(Friend Voronoi Cells)”이라는 개념을 도입한다. 이는 현재 탐색 중인 노드와 거리 상으로 가장 가까운 후보가 될 수 있는 형제 노드들의 집합을 의미한다. 친구 셀을 결정하기 위해 Delaunay 삼각분할과 Voronoi 다이어그램의 기하학적 성질을 심층 분석한다. 구체적으로, 두 Voronoi 셀 사이에 공통 경계가 존재하고, 해당 경계가 현재 질의점과의 최소 거리 하한을 초과하지 않을 경우 두 셀을 친구 관계로 정의한다. 이렇게 하면 불필요한 형제 노드 검사를 배제하고, 실제로 후보가 될 가능성이 있는 셀만을 선별할 수 있다.

알고리즘 흐름은 크게 전처리 단계와 검색 단계로 나뉜다. 전처리 단계에서는 데이터 집합에 대해 K‑means와 유사한 벡터 양자화 과정을 수행해 클러스터 중심을 구하고, 각 클러스터에 대한 Voronoi 셀과 Delaunay 삼각형을 계산한다. 이후 각 셀에 대해 친구 셀 리스트를 사전 계산해 저장한다. 검색 단계에서는 질의점이 속한 셀을 찾고, 해당 셀과 사전에 저장된 친구 셀들을 순차적으로 검사한다. 각 셀 내부에서는 브랜치‑앤‑바운드 방식으로 작은 서브셋을 탐색한다.

시간 복잡도 분석에 따르면, 전처리 단계는 O(N·log N) 정도의 비용을 요구하지만, 이는 한 번 수행하면 다수의 질의에 대해 평균 검색 시간 O(log N) 수준으로 감소한다. 특히 고차원 데이터에서 기존의 KD‑Tree나 Ball‑Tree가 차원의 저주에 취약한 반면, VQ 기반 파티셔닝은 데이터의 실제 분포를 반영하므로 차원에 덜 민감하다. 실험 결과는 이미지 피처, 텍스트 임베딩, 고차원 센서 데이터 등 다양한 도메인에서 기존 방법 대비 30%~70%의 속도 향상을 보여준다.

이 논문은 Voronoi와 Delaunay 구조를 활용한 새로운 형제 노드 최소화 전략을 제시함으로써, 벡터 양자화 기반 검색 트리의 실용성을 크게 확대한다. 또한 친구 셀 개념은 다른 거리 기반 검색 알고리즘에도 일반화 가능성이 있어, 향후 연구에서 클러스터링 방법과 거리 하한 계산을 더욱 정교화하면 더욱 높은 효율을 기대할 수 있다.