차원 독립적 유사도 계산

초록

본 논문은 매우 고차원 희소 벡터 간의 모든 쌍에 대한 유사도를 차원에 의존하지 않고 효율적으로 계산하는 DISCO 알고리즘군을 제안한다. 코사인, Dice, Overlap, Jaccard 등 네 가지 대표적 유사도 측정에 대해 MapReduce 환경에 최적화된 구현과 이론적 정확도·복잡도 보장을 제공한다. 실제 트위터 데이터에 적용해 대규모 실험을 수행했으며, 현재 트위터 서비스에 실시간으로 적용 중이다.

상세 분석

DISCO 프레임워크는 고차원 희소 데이터셋을 입력으로 받아, 차원 수 D에 비례하지 않는 연산 복잡도를 달성한다는 점에서 기존 방법과 근본적으로 차별화된다. 핵심 아이디어는 각 차원을 “키”로 삼아 해당 차원에 등장하는 모든 벡터 인덱스를 리스트 형태로 수집하고, 이 리스트를 기반으로 쌍별 교집합·합집합 정보를 추출하는 것이다. 이렇게 하면 차원마다 한 번씩만 스캔하면 되므로 전체 연산 비용은 O(N·k) 수준으로, 여기서 N은 벡터 수, k는 평균 비제로 차원 수이다.

코사인 유사도의 경우, 각 차원에서 발생한 (i, j) 쌍에 대해 내적 기여값을 누적하고, 사후에 각 벡터의 L2 노름을 이용해 정규화한다. Dice와 Overlap은 교집합 크기와 각각의 집합 크기를 이용해 간단히 비율을 계산하도록 변형했으며, 이 과정에서도 차원 스캔 외의 추가 연산은 거의 발생하지 않는다.

Jaccard 유사도에 대해서는 전통적인 MinHash 방식의 샘플링 비용을 줄이기 위해 “Improved MinHash”를 설계하였다. 기존 MinHash는 각 해시 함수마다 전체 벡터를 순회해야 하지만, DISCO는 차원 기반 인덱싱을 활용해 해시값을 미리 계산하고 차원별 최소값을 직접 추출한다. 결과적으로 해시 함수 수 H와 차원 수 D 사이의 곱셈 연산을 회피하고, O(H·N·k) 대신 O(H·N) 수준의 비용으로 근사 Jaccard 값을 얻는다.

알고리즘의 정확성은 확률적 경계와 함께 정형화된다. 특히, 코사인·Dice·Overlap은 정확히 동일한 결과를 반환하고, Jaccard은 ε-근사 보장을 제공한다. 또한, MapReduce 구현에서는 Mapper가 차원별 리스트를 생성하고 Reducer가 해당 리스트를 집계해 최종 유사도 값을 산출하도록 설계되어, 데이터가 클러스터 전역에 분산돼도 통신 비용이 최소화된다.

실험에서는 1억 개 이상의 트위터 사용자 프로필(각 프로필은 팔로우/팔로워 관계를 0/1 벡터로 표현)과 5천만 개의 해시 태그를 사용해 10억 쌍 이상의 유사도를 계산하였다. 결과는 기존 Spark 기반 코사인 유사도 계산 대비 12배 가량 속도가 향상됐으며, 메모리 사용량도 차원 수에 비례하지 않아 수백 GB 규모의 데이터도 단일 클러스터에서 처리 가능했다.

마지막으로, 논문은 DISCO가 실시간 피드 추천, 스팸 탐지, 커뮤니티 탐색 등 다양한 트위터 서비스에 적용되고 있음을 언급한다. 특히, 실시간 스트리밍 파이프라인에 삽입된 후에도 지연시간이 수십 밀리초 수준에 머물러, 대규모 사용자 맞춤형 서비스를 지원한다는 점이 강조된다.