다중 정렬 기반 효율적 이웃 그래프 구축

초록

본 논문은 문자열에 적용되던 다중 정렬(Multiple Sorting) 기법을 연속형 데이터에 확장한다. 랜덤 프로젝션을 이용해 고차원 벡터를 고정 길이 문자열로 변환하고, 변환된 문자열을 정렬·분할함으로써 ε‑이웃 그래프를 $O(n+m)$ 시간에 구축한다. 이론적으로 근사 정확도와 계산 복잡도 사이의 트레이드오프를 분석하고, 실험을 통해 기존 근접 이웃 탐색 방법보다 월등히 빠른 수행 시간을 입증한다.

상세 분석

다중 정렬 방법은 원래 문자열 데이터에서 동일한 접두사를 공유하는 쌍을 효율적으로 찾아내는 알고리즘으로, 각 문자열을 사전식으로 정렬한 뒤 인접한 항목들을 비교함으로써 $O(n+m)$의 선형 시간 복잡도를 달성한다. 여기서 $n$은 데이터 포인트 수, $m$은 실제 ε‑이웃 쌍의 개수이다. 논문은 이 아이디어를 연속형 벡터 공간에 적용하기 위해 두 단계의 변환을 도입한다. 첫 번째는 고차원 실수 벡터를 랜덤 하이퍼플레인에 투사하여 부호(양/음) 혹은 양자화된 구간 코드를 얻는 과정이다. 이 과정은 Johnson‑Lindenstrauss Lemma에 기반해 거리 보존을 확률적으로 보장한다. 두 번째는 얻어진 이산값들을 고정 길이 문자열로 매핑하는 단계이며, 각 차원을 하나의 문자(또는 비트)로 표현한다. 이렇게 변환된 문자열은 원본 벡터 간의 유사성을 근사적으로 반영한다.

다중 정렬 단계에서는 문자열을 여러 번 정렬하고, 각 정렬마다 특정 위치를 기준으로 문자열을 슬라이싱하여 접두사 일치를 검사한다. 이때 슬라이싱 길이와 정렬 횟수는 허용 오차 ε와 프로젝션 차원 $d$에 따라 조정된다. 이론적 분석에 따르면, 프로젝션 차원을 $O(\log n / \epsilon^2)$ 로 설정하면, 원본 유클리드 거리의 $\epsilon$‑근접성을 고확률로 유지하면서 $m$에 비례하는 시간만을 추가로 소모한다. 따라서 전체 복잡도는 $O(n + m)$ 로, 전통적인 $O(n^2)$ 혹은 $O(n \log n)$ 복잡도를 갖는 k‑NN 그래프 구축 알고리즘에 비해 크게 우위에 있다.

실험에서는 이미지 피처(예: SIFT, ResNet 임베딩), 오디오 스펙트로그램, 텍스트 임베딩 등 다양한 연속형 데이터셋을 대상으로 성능을 평가한다. 비교 대상은 Annoy, FAISS, HNSW 등 최신 근사 최근접 이웃 라이브러리이며, 본 방법은 동일한 ε‑조건 하에서 그래프 구축 시간에서 5배 이상, 메모리 사용량에서도 30% 정도 절감되는 결과를 보였다. 다만, 랜덤 프로젝션 단계에서 차원 축소 정도가 과도하면 근사 정확도가 급격히 떨어지는 현상이 관찰되었으며, 이는 차원 $d$와 ε 사이의 트레이드오프 파라미터 튜닝이 필요함을 시사한다. 또한, 문자열 변환 과정에서 발생하는 해시 충돌이나 정렬 안정성 문제도 구현 시 주의해야 할 요소로 제시된다.

요약하면, 논문은 다중 정렬의 선형 시간 특성을 연속형 데이터에 성공적으로 이전시켰으며, 랜덤 프로젝션을 통한 거리 보존과 문자열 매핑을 결합함으로써 대규모 데이터셋에서도 실용적인 ε‑이웃 그래프를 빠르게 구축할 수 있음을 입증한다. 이 접근법은 그래프 기반 학습, 클러스터링, 밀도 추정 등 다양한 머신러닝 파이프라인에서 전처리 단계의 병목을 크게 완화시킬 잠재력을 가진다.