효율적인 분산 레이어드 LSH

초록

본 논문은 대규모 유사도 검색을 위한 분산 환경에서 기존 Entropy LSH가 초래하는 네트워크 호출 비용을 크게 줄이는 새로운 레이어드 LSH(Layered LSH) 기법을 제안한다. Euclidean $l_2$ 공간을 전제로 하여, 해시 테이블 수는 유지하면서도 쿼리 오프셋을 계층적으로 묶어 하나의 네트워크 라운드 트립으로 처리하도록 설계하였다. 이론적 분석을 통해 네트워크 비용이 지수적으로 감소함을 증명하고, 실험을 통해 실제 서비스에서 트래픽 감소와 실행 시간 단축을 확인하였다.

상세 분석

이 논문은 대규모 고차원 데이터셋에 대해 LSH 기반 근사 최근접 검색을 수행할 때, 분산 시스템에서 발생하는 네트워크 비용이 병목이 된다는 점을 정확히 짚어낸다. 기존 Entropy LSH는 쿼리 자체와 여러 오프셋을 추가로 해시함으로써 필요한 해시 테이블 수를 크게 줄였지만, 각 오프셋마다 별도의 네트워크 호출이 필요해 전체 통신량이 오히려 증가한다는 역설적인 문제를 안고 있다. 저자들은 이를 해결하기 위해 “레이어드” 구조를 도입한다. 구체적으로, $l_2$ 공간에 적합한 p‑stable 해시 함수를 사용해 $k$‑차원 해시 벡터를 만든 뒤, 이를 $L$개의 레이어로 나눈다. 각 레이어는 동일한 해시 함수 집합을 공유하지만, 레이어 간에 서로 다른 오프셋 집합을 매핑한다. 이렇게 하면 동일 레이어 내의 모든 오프셋이 동일한 머신에 할당될 수 있어, 하나의 네트워크 라운드 트립으로 레이어 전체를 조회할 수 있다. 핵심 아이디어는 “오프셋을 레이어에 묶어 동일 머신에 집중시키는” 것이며, 이를 위해 해시 함수와 오프셋 선택을 조심스럽게 설계한다. 저자들은 레이어 수 $L$와 해시 테이블 수 $T$ 사이의 트레이드오프를 수식으로 정리하고, $L$을 로그 규모로 늘릴 경우 네트워크 호출 횟수가 $O(T/L)$ 로 감소함을 보인다. 또한, 로드 밸런스를 유지하기 위해 각 레이어에 할당되는 데이터 양을 균등하게 만들고, 해시 충돌 확률을 기존 LSH와 동일하게 유지하도록 증명한다. 실험에서는 10억 개 이상의 벡터를 가진 공개 데이터셋과 실제 기업 서비스 로그를 사용해, 레이어드 LSH가 네트워크 트래픽을 평균 70 % 이상 절감하고, 전체 쿼리 응답 시간을 2배 이상 단축함을 보여준다. 이 결과는 높은 차원의 데이터에서도 정확도 손실 없이 효율적인 분산 검색이 가능함을 시사한다.