각도 거리용 범용 LSH 패밀리와 Johnson Lindenstrauss 투영 및 Feature Hashing

초록

본 논문은 Johnson‑Lindenstrauss(JL) 투영을 이용해 각도 거리(angular distance)에 대한 범용 LSH( locality‑sensitive hashing) 패밀리를 정의하고, 특히 Feature Hashing이 JL 투영임을 증명한다. 이를 기반으로 두 가지 새로운 LSH 함수, 즉 Feature Hashing LSH와 Directional Feature Hashing LSH를 제안한다. 합성 데이터와 SIFT 1M 실험을 통해 기존 Hyperplane, Voronoi, Cross‑Polytope 등과 비교했을 때 비슷한 정밀도와 낮은 false‑positive 비율을 유지하면서 계산 속도가 크게 향상됨을 보였다. 또한 이 방법들은 유클리드 거리에도 적용 가능함을 실험적으로 확인하였다.

상세 분석

논문은 먼저 LSH의 기본 정의와 증폭(amplification) 메커니즘을 정리하고, 기존의 대표적인 각도 거리용 LSH인 Hyperplane, Voronoi, Cross‑Polytope을 JL 투영의 특수 경우로 해석한다. 핵심 이론은 “임의의 JL 투영은 거리 보존을 만족하므로, 투영 후의 단순한 비트화 혹은 최대값 선택 연산만으로도 각도 거리와 단조적인 충돌 확률 함수를 얻을 수 있다”는 점이다. 이를 정리한 정리 1은 두 가지 일반적인 해시 함수 형태—(1) 각 열과의 내적 중 최대값 인덱스 선택, (2) 내적 부호만 사용—가 모두 LSH 패밀리를 형성함을 보인다.

다음으로 Feature Hashing(해시 트릭)이 실제로 희소 행렬 형태의 JL 투영임을 증명한다. 행당 k개의 ±1 원소만을 갖는 d×d’ 행렬을 사용하면, 기대값 관점에서 원래 벡터의 노름이 √k 배로 스케일링된 뒤 보존됨을 보이며, 이는 기존의 dense ±1 행렬(Achlioptas)과 동일한 거리 보존 특성을 갖는다. 이론적 근거를 바탕으로 두 가지 새로운 LSH를 제안한다.

1. Feature Hashing LSH – 행렬 M을 이용해 <x, M_i> 중 최대값을 갖는 인덱스를 해시값으로 사용한다. 이는 Voronoi LSH와 구조적으로 동일하지만, M이 매우 희소하므로 내적 연산 비용이 크게 감소한다.
2. Directional Feature Hashing LSH – 동일한 M을 사용하되 각 내적의 부호만을 취해 d’ 비트의 해시 벡터를 만든다. 이는 Hyperplane LSH와 동일한 비트화 방식이지만, 각 하이퍼플레인에 포함되는 비활성 차원이 k개로 제한돼 연산량이 크게 줄어든다.

실험에서는 d=128 차원의 단위 구면 위에서 무작위 벡터와 SIFT 1M 데이터셋을 대상으로 충돌 확률을 거리별로 측정했다. 결과는 다음과 같다. Hyperplane과 Directional Feature Hashing은 거의 동일한 false‑positive 비율을 보였으며, Directional은 행렬이 희소하기 때문에 실행 시간이 현저히 빠르다. Feature Hashing LSH는 false‑positive 비율이 다소 높지만, 행당 k를 늘리면 조정 가능하다. Voronoi와 Cross‑Polytope은 높은 정밀도를 제공하지만, 밀집 행렬 연산으로 인해 전체 실행 시간이 가장 오래 걸렸다.

또한 논문은 LSH가 각도 거리뿐 아니라 정규화되지 않은 유클리드 거리에도 적용 가능함을 실험적으로 확인했다. SIFT 데이터는 단위 구면에 정규화되지 않았음에도 불구하고, 제안된 두 방법이 기존 방법과 비슷하거나 더 나은 검색 정확도와 속도를 제공한다.

이러한 결과는 JL 투영을 일반화된 LSH 설계 원칙으로 활용할 수 있음을 보여준다. 특히 Feature Hashing이라는 매우 간단하고 메모리 효율적인 기법이 고성능 LSH의 기반이 될 수 있음을 입증한다. 따라서 대규모 고차원 데이터베이스에서 근사 최근접 이웃 탐색을 구현할 때, 기존의 밀집 랜덤 프로젝션 대신 희소 Feature Hashing 기반 프로젝션을 선택하면 메모리 사용량과 연산 비용을 크게 절감하면서도 정확도 손실을 최소화할 수 있다.