ProbMinHash 확률 Jaccard 유사도 위한 초고속 로컬리티 감도 해시

본 논문은 확률 Jaccard 유사도 J_P 라는 최근 제안된 메트릭을 빠르고 정확하게 추정하기 위한 새로운 해시 기법인 ProbMinHash를 소개한다. J_P는 각 원소 d 에 대한 두 집합 A, B 의 가중치를 w_A(d), w_B(d) 로 표현한 뒤, J_P = ∑_d min(w_A(d)/Σw_A, w_B(d)/Σw_B) 로 정의되며, 이는 전통적인 Jaccard J 와 동일한 형태를 갖지만 가중치가 확률(정규화된) 형태일 때 자연스럽게 확장된다. 기존의 P‑MinHash는 각 서명 차원 k 마다 독립적인 지수분포 해시 h_k(d) ∼ Exp(λ w(d)) 를 생성하고, 최소값을 선택해 z_k(S) 를 만든다. 이 방식은 O(n m) 시간 복잡도를 가지며, 대규모 데이터셋에서는 비현실적이다. 논문은 이 문제를 해결하기 위해 “집합적” 해시 생성 방식을 도입한다. 구체적으로, 각 원소 d 에 대해 무작위 증가 수열 X(d) 와 라벨 시퀀스 L(d) 를 만든 뒤, 라벨 k 에 해당하는 첫 번째 점을 h_k(d) 로 정의한다. 이렇게 하면 h_k(d) 값들을 오름차순으로 얻을 수 있어 현재까지 관찰된 최소값 q_max 보다 큰 해시값은 즉시 무시한다. 이 아이디어는 최소값 q_max 이 원소를 처리하면서 점진적으로 감소한다는 사실에 기반한다. 따라서 전체 연산은 원소 n 에 대해 한 번만 순회하고, 각 원소에 대해 q_max 이하인 해시값만 계산하면 되므로 시간 복잡도는 O(n + f(m)) 으로 크게 개선된다. 네 가지 구체적 알고리즘이 제안된다. 1. **ProbMinHash1**: 단일 PRNG을 사용해 각 원소 d 마다 m 개의 지수분포 난수를 생성하고, q_max 이하인 경우에만 업데이트한다. 통계적으로 기존 P‑MinHash와 동일한 충돌 확률을 유지한다. 2. **ProbMinHash2**: PRNG을 병렬화하여 여러 스레드가 동시에 해시값을 생성하도록 설계했으며, 메모리 접근을 최소화한다. 역시 기존 방법과 통계적 동등성을 보인다. 3. **ProbMinHash3**: 해시값을 라벨 순서에 따라 “버퍼링”하고, 라벨 k 에 대한 최소값을 찾는 과정을 한 번에 수행한다. 이 과정에서 서명 요소 간 의존성이 도입되어 Var(Ĵ) 가 J_P(1‑J_P)/m 보다 작아진다. 특히 α(m, u) 와 유사한 감소 인자를 제공해 u (공통 원소 수)가 m 보다 작을 때 분산을 최대 2배까지 감소시킨다. 4. **ProbMinHash4**: ProbMinHash3와 유사하지만, 라벨 선택을 확률적 샘플링 방식으로 수행해 더 높은 의존성을 만든다. 실험에서는 가장 낮은 분산을 기록한다. ProbMinHash1a와 ProbMinHash3a는 버퍼링 기법을 추가해 입력 원소를 인터리브 방식으로 처리한다. 이는 CPU 캐시 친화성을 높이고, 중간 규모 n 에 대해 30 % 이상의 실행 시간 절감을 가져온다. 논문은 또한 이 알고리즘들을 전통적인 Jaccard J (이진 가중치) 상황에 특수화한다. 이 경우 w(d)∈{0,1} 이므로, ProbMinHash1·1a·2는 기존 MinHash와 완전히 동일한 충돌 확률을 유지하면서 O(n + f(m)) 시간을 달성한다. 특히 ProbMinHash3a는 O(n + m log m) 시간· O(m log m) 공간 복잡도로 매우 빠른 Jaccard 해시를 제공한다. 실험 섹션에서는 합성 데이터와 실제 텍스트·그래프 데이터셋을 사용해 런타임과 추정 오차를 평가한다. 다양한 n (10³ ~ 10⁶)과 m (64 ~ 4096) 설정에서 ProbMinHash1·2는 기존 P‑MinHash 대비 평균 12‑15배 빠른 실행 시간을 보였으며, ProbMinHash3·4는 동일 서명 길이에서 평균 15‑30% 정도의 분산 감소를 기록했다. 또한 b‑bit 압축을 적용했을 때 편향 보정만으로 정확도가 유지되는 것을 확인했다. 결론적으로, ProbMinHash는 O(n m) 장벽을 깨고, 통계적 정확성을 유지하거나 향상시키면서 실시간 스트리밍 및 대규모 배치 환경 모두에 적용 가능한 범용 LSH 솔루션을 제공한다. 코드와 실험 재현을 위한 GitHub 레포지토리도 공개되어 있어, 연구자와 엔지니어가 바로 활용할 수 있다.