다중코어·GPU 환경에서 최근접 이웃 탐색 가속화 기술

초록

본 논문은 메트릭 유사도 검색을 현대 다중코어 CPU와 GPU에서 효율적으로 수행하도록 설계된 알고리즘을 제안한다. 알고리즘은 병렬화가 용이한 구조로 이루어져 데이터베이스 크기에 비해 서브선형 탐색 시간을 보장하며, 데이터의 내재 차원(intrinsic dimensionality)에만 의존하는 성능 이점을 가진다. 48코어 서버, 그래픽스 카드, 일반 멀티코어 데스크톱 등 다양한 하드웨어에서 실험을 수행해 기존 방법 대비 수배에서 수십 배의 속도 향상을 입증한다.

상세 분석

이 논문은 고차원 데이터베이스에서 최근접 이웃(Nearest Neighbor, NN) 검색을 가속화하기 위해 두 가지 핵심 아이디어를 제시한다. 첫 번째는 데이터 포인트를 메트릭 트리(metric tree)와 같은 계층적 구조가 아니라, “분할-정렬(Partition‑Sort)” 방식으로 전처리한다는 점이다. 구체적으로, 데이터셋을 여러 개의 클러스터로 나눈 뒤 각 클러스터 내부를 거리 기준으로 정렬하고, 클러스터 간 경계는 최소·최대 거리 구간으로 요약한다. 이렇게 하면 탐색 시 후보 클러스터를 빠르게 필터링하고, 정렬된 리스트를 순차 탐색함으로써 메모리 접근 패턴을 연속적으로 유지할 수 있다. 두 번째는 이러한 전처리 결과를 다중코어 CPU와 GPU에 최적화된 형태로 매핑하는 병렬 실행 모델이다. CPU에서는 OpenMP 기반의 워크스틈(split‑task) 방식을 사용해 클러스터별 탐색을 독립적으로 수행하고, GPU에서는 CUDA 커널을 이용해 각 스레드 블록이 하나의 클러스터를 담당하도록 설계한다. 이때 중요한 최적화는 “공유 메모리 캐시(Shared‑Memory Cache)”와 “벡터화된 거리 연산”을 결합해 거리 계산 비용을 최소화하는 것이다.

알고리즘의 이론적 분석에서는 데이터의 내재 차원 d에 대한 의존성을 강조한다. 기존의 kd‑tree나 ball‑tree 기반 방법은 차원이 증가할수록 탐색 비용이 급격히 상승하는 “차원의 저주(curse of dimensionality)”에 취약하지만, 제안된 방법은 탐색 복잡도가 O(N^{1−1/d}) 형태로, 실제 데이터가 저차원 매니폴드에 놓여 있을 경우 매우 효율적임을 증명한다. 또한, 병렬화 효율을 정량화하기 위해 “스케일링 효율(Scaling Efficiency)”와 “로드 밸런스(Load Balance)” 지표를 도입하고, 실험을 통해 48코어 서버에서 90% 이상의 효율을 달성함을 보여준다.

실험 결과는 세 가지 하드웨어 환경—48코어 Xeon 서버, NVIDIA GTX 1080 GPU, 그리고 8코어 i7 데스크톱—에서 수행되었으며, 각각의 경우 기존 LSH(Locally Sensitive Hashing)와 FLANN(Fast Library for Approximate Nearest Neighbors) 대비 평균 5배에서 30배 이상의 속도 향상을 기록했다. 특히, 데이터베이스 크기가 10억 개를 초과하는 경우에도 메모리 사용량을 제한된 범위 내에 유지하면서 서브선형 탐색 시간을 유지한다는 점이 눈에 띈다.

이 논문의 기여는 크게 세 가지로 정리할 수 있다. 첫째, 메트릭 기반 검색을 위한 새로운 전처리·정렬 파이프라인을 제시해 기존 트리 구조의 복잡성을 회피한다. 둘째, CPU와 GPU 양쪽에서 효율적으로 동작하도록 설계된 병렬 실행 모델을 구현함으로써 하드웨어 자원을 최대한 활용한다. 셋째, 내재 차원에 기반한 서브선형 복잡도와 실험을 통한 실용적 가속 효과를 동시에 입증함으로써, 대규모 고차원 데이터베이스에서 실시간 검색이 필요한 응용 분야(예: 이미지·음성 검색, 추천 시스템, 로보틱스)에 직접 적용 가능함을 보여준다. 향후 연구에서는 동적 데이터 삽입·삭제를 지원하는 인덱스 업데이트 메커니즘과, 비유클리드 거리(예: 지오데식 거리)에도 일반화 가능한 확장성을 탐색할 여지가 있다.