초고차원 유사도 탐색을 위한 고속 LSH 기반 FLASH 시스템

초록

FLASH는 초고차원(수백만 차원) 데이터셋에 대해 CPU·GPU 병렬 환경에서 LSH와 reservoir sampling, 원패스 minwise 해싱, 카운트 기반 추정 기법을 결합해 유사도 계산 없이 근사 k‑NN 그래프를 빠르게 구축하는 시스템이다. 실험 결과, 1.3 억 비제로를 가진 웹스팸 데이터셋에서도 전체 k‑NN 그래프를 10초 이내에 생성하며, 기존 최첨단 방법보다 수십 배에서 수백 배 빠르다.

상세 분석

FLASH는 초고차원 데이터에서 전통적인 브루트포스 유사도 계산이 메모리·연산량 측면에서 비현실적이라는 문제를 근본적으로 회피한다. 핵심 아이디어는 LSH(Latent Similarity Hashing) 스타일의 랜덤 인덱싱을 사용해 데이터 포인트를 여러 해시 테이블에 분산시키고, 각 테이블에서 일정 수의 후보를 reservoir sampling으로 유지함으로써 메모리 사용을 제한한다. 여기서 reservoir sampling은 스트림 형태로 들어오는 해시 버킷을 일정 크기의 샘플 풀로 압축하는데, 이는 전체 해시 버킷을 모두 저장하지 않아도 충분히 대표적인 후보를 확보할 수 있게 해준다.

또한 FLASH는 최근 연구된 원패스(minwise) 해싱 기법을 적용한다. 전통적인 minwise 해싱은 전체 시그니처를 여러 번 스캔해야 하지만, 원패스 버전은 한 번의 데이터 흐름만으로 각 셋에 대한 서명을 생성한다. 이를 통해 차원 수가 수백만에 달하는 경우에도 해시 서명을 빠르게 계산할 수 있다. 해시 서명은 이후 카운트 기반 추정(count‑based estimation) 단계에서 사용된다. 카운트 기반 추정은 두 벡터가 동일 해시 버킷에 동시에 등장한 횟수를 카운트하고, 이를 통해 Jaccard 유사도 혹은 코사인 유사도의 근사값을 얻는다. 이 과정은 실제 벡터 간 내적을 계산하지 않으므로 연산 복잡도가 O(n·L) (n: 데이터 수, L: 해시 테이블 수) 로 크게 감소한다.

병렬화 측면에서 FLASH는 CPU와 GPU 양쪽 모두에 최적화된 구현을 제공한다. GPU에서는 해시 테이블 구축과 후보 추출을 대규모 행렬 연산 형태로 변환해 CUDA 커널을 통해 수천 개의 스레드가 동시에 작업하도록 설계했다. CPU 구현은 멀티코어 SIMD 명령어와 캐시 친화적인 메모리 레이아웃을 활용해 메모리 대역폭 병목을 최소화한다. 두 구현 모두 파이프라인 방식으로 진행되며, 해시 서명 생성 → 후보 샘플링 → 카운트 추정 → 최종 k‑NN 선택 순서가 겹치지 않게 비동기적으로 실행된다.

이론적 보장은 LSH의 전통적인 확률적 경계와 reservoir sampling의 무작위 샘플링 정확도를 결합해 제공한다. 논문에서는 후보 집합이 전체 데이터의 ε‑근사 k‑NN을 포함할 확률을 1‑δ 로 상한을 제시하고, L과 샘플 크기 B를 적절히 선택하면 δ를 매우 작게 만들 수 있음을 증명한다. 실험에서는 다양한 도메인(텍스트, 악성 URL, 클릭‑스루 예측, 소셜 네트워크)에서 10⁶ 차원 이상의 데이터에 대해 10초 이내에 전체 k‑NN 그래프를 구축했으며, 정확도는 기존 최첨단 방법과 비교해 1~2% 정도 차이만 보였다.

결과적으로 FLASH는 초고차원 데이터에 특화된 LSH 기반 인덱싱, 메모리 효율적인 샘플링, GPU 가속을 결합해 기존 브루트포스 혹은 기존 LSH 구현이 감당하지 못하는 규모를 실시간에 가깝게 처리한다는 점에서 큰 의미를 가진다.