최근접 이웃 탐색 난이도와 상대 대비

초록

본 논문은 데이터 집합의 차원, 희소성, 크기 등 여러 특성을 동시에 고려한 새로운 난이도 지표 ‘Relative Contrast’를 제안한다. 이 지표가 Local Sensitive Hashing(LHS)의 복잡도와 해시 기반 PCA 알고리즘의 성능에 미치는 영향을 이론적으로 분석하고, 기존 난이도 측정 방법들을 특수 경우로 귀결시킨다.

상세 분석

논문은 먼저 최근접 이웃(NN) 탐색이 고차원 데이터에서 “거리 집중 현상” 때문에 어려워진다는 점을 강조한다. 이를 정량화하기 위해 저자들은 ‘Relative Contrast(RC)’라는 지표를 정의한다. RC는 임의의 질의점에 대해 평균 거리와 최단 거리(또는 k‑최근접 거리)의 비율로, 값이 클수록 데이터가 구분 가능하고 NN 탐색이 쉬움을 의미한다. 중요한 점은 RC가 단순히 차원만이 아니라 데이터의 희소도(sparsity)와 전체 샘플 수(N)까지 포함한다는 것이다. 저자들은 임의의 ℓp 공간에서 데이터가 독립적이고 동일한 분포(i.i.d.)를 따른다고 가정하고, 중심극한정리와 대수적 전개를 이용해 RC의 기대값을 차원 d, 평균 제로·분산 σ², 비제로 평균 절댓값 μ 등으로 표현한다. 이 과정에서 d가 커질수록 거리 분포가 점점 정규에 수렴하면서 RC가 1에 가까워지는 현상을 보이며, 이는 “거리 집중”을 수학적으로 설명한다. 반면, 데이터가 높은 차원에서도 매우 희소하면(예: 텍스트 벡터) 각 차원의 비활성 비율이 커져 효과 차원이 감소하고, RC가 다시 상승한다. 따라서 차원과 희소성은 상반된 영향을 미치며, RC는 이 두 효과를 동시에 포착한다.

다음으로 저자들은 RC와 LSH의 시간·공간 복잡도 사이의 관계를 정리한다. LSH는 거리 차이가 큰 쌍을 빠르게 구분하도록 설계되었는데, RC가 클수록 “거리 차이”가 명확해져 필요한 해시 테이블 수와 후보 검증 횟수가 감소한다. 구체적으로, 논문은 LSH의 성공 확률을 1−δ 로 보장하기 위해 필요한 해시 함수 개수 L을 O((1/RC)·log N) 형태로 근사한다. 이는 기존 분석에서 차원 d만을 변수로 삼았던 것보다 더 정밀한 예측을 가능하게 한다.

또한, PCA 기반 해시 기법이 실제 데이터에서 좋은 성능을 보이는 이유를 RC 관점에서 설명한다. PCA는 데이터의 주성분 방향으로 차원을 축소함으로써 거리 분포의 분산을 크게 늘리고, 결과적으로 RC를 증가시킨다. 따라서 해시 함수가 주성분에 정렬될 때, 동일 해시 버킷에 속할 확률이 실제 가까운 이웃에 대해 크게 높아진다. 저자들은 실험적으로 CIFAR‑10, GIST, 텍스트 코퍼스 등에서 RC를 측정하고, LSH와 PCA‑LSH의 실제 검색 비용을 비교함으로써 이론적 예측이 실험과 일치함을 입증한다.

마지막으로, 기존의 “intrinsic dimensionality”, “relative contrast” (다른 정의), “expansion constant” 등 여러 난이도 지표들을 수학적으로 변형하면 RC의 특수 경우가 된다는 점을 보인다. 이는 RC가 가장 일반적인 프레임워크로서, 다양한 데이터 특성을 통합적으로 평가할 수 있음을 의미한다. 전체적으로 이 논문은 NN 탐색 난이도를 정량화하고, 이를 기반으로 해시 기반 근사 검색 알고리즘의 설계와 파라미터 튜닝을 이론적으로 뒷받침하는 중요한 기여를 한다.