소개

대형 언어 모델(LLMs)의 출현은 정보 검색 및 지식 관리 분야를 근본적으로 변화시켰습니다. LLMs의 내재적 한계를 해결하기 위해 Retrieval-Augmented Generation(RAG)이 중요한 아키텍처 패러다임으로 등장했습니다. RAG는 대규모 코퍼스에서 실시간으로 의미론적으로 관련된 컨텍스트를 검색하는 능력에 크게 의존합니다. 이 종속성은 근사 최근접 이웃 탐색(ANNS)을 현대 데이터 인프라의 핵심으로 자리매김하게 만들었고, 엄격한 생산 제약 하에서 백억 개 포인트 데이터셋까지 확장 가능한 벡터 인덱스를 요구합니다.

최첨단 ANNS 솔루션은 주로 그래프 기반 인덱스에 집중되었으며 DiskANN(Vamana)는 SSD 주재 로드의 대표적인 예입니다. 이러한 알고리즘들은 일반적으로 거리 그래프에서 탐색 경로를 그리디 라우팅을 통해 네트워크의 출발 지점에서 쿼리 목표까지 이동합니다. SIFT1M과 같은 표준 벤치마크에서는 우수한 성능을 보이지만, GIST1M과 같이 고차원 공간에서는 효율성이 크게 떨어집니다. 이를 차원의 저주로 설명하며 유클리드 최단 경로가 데이터 맨입OLD 위의 기하학적 경로와 일치하지 않게 됩니다. 우리는 이를 유클리드-기하학적 불일치라고 부릅니다.

우리의 핵심 통찰은 고차원 실제 데이터는 균일하게 분포되지 않는다는 것입니다. 대신, 그것은 일반적으로 맨입OLD 가설에 따라 임베딩된 하위 차원 구조 위에 존재합니다. 따라서 검색 난이도는 데이터셋 전체에서 균일하지 않고 지역적 내재 차원(LID)에 의해 조정됩니다. 우리는 이 문제를 해결하기 위해 Manifold-Consistent Graph Indexing(MCGI), 즉 기하학을 인식하는 디스크 기반 인덱싱 아키텍처를 제안합니다. LID 추정을 라우팅 로직에 통합함으로써 MCGI는 데이터의 지역적인 위상에 따라 탐색 전략을 조정할 수 있습니다.

우리의 주요 기여는 다음과 같습니다:

• 우리는 국소 내재 차원을 그래프 탐색 가능성과 연결하는 이론적 방법을 제시하며, 비유클리드 맨입OLD에서 적응형 빔 검색에 대한 정당성을 제공합니다.

• 우리는 실제 기하학 분석에 따라 검색 예산을 동적으로 조절하는 경량화된 적응형 라우팅 알고리즘을 개발했습니다. 이 설계는 현존하는 방법의 유연성 제한 요인인 정적이고 수동으로 튜닝된 하이퍼파라미터의 의존성을 해소합니다.

• 실증 평가에서 GIST1M은 MCGI가 DiskANN에 비해 95% 레콜을 달성하는 쿼리 처리량이 5.8배 높으며, SIFT1M과 GloVe-100과 같은 표준 저차원 데이터셋에서는 성능 동등함을 확인합니다. 이는 다양한 작업 부하에서 방법의 견고성을 확인하며 간단한 작업에 추가 오버헤드를 발생시키지 않습니다.

• 우리는 SIFT1B와 같은 백억 포인트 데이터셋에서 시스템의 확장성을 검증하고, MCGI가 DiskANN에 비해 높은 레콜 쿼리 지연 시간을 3배 줄이고 처리량을 1.32배 개선함을 보여줍니다. 이 결과는 맨입OLD 인식 라우팅이 대규모, 생산 환경에서 I/O 병목 현상을 효과적으로 완화한다는 것을 확인합니다.

관련 연구

벡터 인덱싱 패러다임.

전통적인 희소 검색 방법인 BM25는 어휘 일치에 의존하나, 신경망의 급속한 발전은 밀집 벡터 검색으로 관심이 이동되었습니다. 메모리 주재 환경에서는 계층적 탐색 가능한 작은 세계(HNSW)를 포함한 그래프 기반 인덱스가 상태-of-the-art 성능을 확립하며 로그 복잡도 스케일링을 가능하게 했습니다. 그러나 HNSW의 높은 메모리 소비는 백억 개 규모 데이터셋에 대한 도전 과제를 제기합니다. 이를 완화하기 위해 디스크 기반 접근 방식이 등장했습니다. DiskANN(Vamana)은 그래프 위상 구조를 SSD용으로 적응시키고, 이웃 커버리지를 최대화하기 위해 희소성 제약을 완화합니다. 동시에 SPANN는 랜덤 I/O 지연을 이유로 디스크에서의 순수한 그래프 탐색에 반대하며, 중심 기반 라우팅과 결합된 역색인(IVF) 구조를 주장합니다.

DiskANN와 SPANN 및 그 전신들(NSG 등)은 SIFT와 DEEP과 같은 중간 차원성 (96-128차원)의 표준 벤치마크에 주로 평가됩니다. 이러한 방법들은 정적 라우팅 파라미터나 내재 차원성을 명시적으로 고려하지 않는 중심 레이아웃에 크게 의존합니다. 반면, MCGI는 정적인 라우팅 구성에서 벗어나 기하학을 인식하는 전략으로 구분됩니다. 추정된 LID에 따라 검색 예산을 동적으로 조절함으로써 우리의 방법은 그래프 탐색을 밑바닥 데이터 맨입OLD 구조와 일치시켜 고차원 공간에서 경직된 인덱싱 방식이 직면하는 효율성 병목 현상을 극복합니다.

고차원 인덱싱.

초기 접근법은 공간 분할 트리를 기반으로 하였습니다. KD-트리는 축에 정렬된 하이퍼플레인을 사용하여 공간을 나누고, R-트리에서는 계층적 경계 사각형을 활용합니다. 그러나 이러한 엄격한 분할 방식은 차원의 저주로 인해 차원이 20을 초과하면 선형 스캔 성능으로 떨어집니다. 이를 해결하기 위해 근사 방법인 Locality-Sensitive Hashing(LSH)가 도입되었고, 서브선형 탐색 시간 보증을 제공합니다. 그러나 LSH를 사용하여 높은 레콜을 달성하려면 여러 해시 테이블로 중복성을 유지해야 하므로 저장 공간 오버헤드가 증가합니다. 또 다른 연구는 서브스페이스 양자화, Product Quantization(PQ)와 Optimized PQ(OPQ) 등으로 대표되며, 고차원 벡터를 압축하기 위해 더 낮은 차원의 서브스페이스로 분해합니다. 또한 랜덤 구조인 RP-Trees는 랜덤 투영을 통해 데이터 기하학에 적응하려고 합니다. MCGI는 그래프 탐색의 연결성 이점을 유지하면서, 과격한 양자화 손실이나 해싱 방법의 저장 공간 중복성을 피합니다.

내재 차원.

최근접 이웃 검색의 이론적 분석은 데이터셋의 내재 난이도를 캐릭터라이징하는 데 의존합니다. 듀블링 차원과 확장 차원과 같은 기본 개념들은 성장 제한된 메트릭에서 탐색 복잡성에 대한 절대적 경계를 제공합니다. 이론과 실제 사이의 연결을 위해 Levina와 Bickel은 Local Intrinsic Dimensionality(LID)의 최우도 추정자를 소개하여 실세계 데이터에 대해 강건한 추정을 가능하게 했습니다. 이후 연구들은 LID를 쿼리 난이도 예측이나 악성 예제 탐지와 같은 작업에 활용했지만, 이들 응용은 주로 사후 분석이나 질의 전 추정에서 LID를 활용하고 기존 인덱스 구조를 변경하지 않습니다. MCGI는 이러한 패러다임을 벗어나 LID를 활성 제어 신호로 사용합니다. 지역적 기하학에 따라 그래프 탐색 파라미터를 동적으로 조절함으로써 우리의 방법은 LID를 효율적인 라우팅 메커니즘으로 전환시킵니다.

방법론

정의

우리는 분석 용어에서 Local Intrinsic Dimensionality(LID)에 대한 간략한 소개부터 시작합니다. 자세한 내용은 Houle 등의 연구에서 찾을 수 있습니다.

\begin{equation}
        \text{LID}(x) \triangleq \lim_{r \to 0} \frac{r \cdot F'_x(r)}{F_x(r)} = \lim_{r \to 0} \frac{d \ln F_x(r)}{d \ln r},
\end{equation}

\begin{equation}
        F_x(r) \approx C \cdot r^D,
\end{equation}

\begin{equation}
        F'_x(r) \approx C \cdot D \cdot r^{D-1}.
\end{equation}

\begin{equation}
        D \approx \frac{F'_x(r)}{F_x(r)} \cdot r,
\end{equation}

LID의 직관적인 폐형 공식은 일반적으로 실제 CDF $`F_x(r)`$에 접근할 수 없기 때문에 실무에서는 주어진 참조 포인트 $`x`$와 그 이웃에서 거리 샘플을 사용하여 최대우도추정(MLE)으로 LID를 추정합니다. MLE로 LID는 다음과 같이 추정됩니다.

\begin{equation}
    \widehat{\text{LID}}(x) = - \left( \frac{1}{k} \sum_{i=1}^{k} \ln \frac{r_i}{r_k} \right)^{-1}.
\end{equation}

매핑 함수

Manifold-Consistent Graph Indexing의 주요 목표는 그래프 위상이 지역적 기하학적 복잡성에 적응하도록 하는 것입니다. Local Intrinsic Dimensionality(LID)가 낮은 영역에서는 데이터 맨입OLD가 평평한 유클리드 부분 공간을 근사합니다. 이러한 이오타롭스 지역에서 유클리드 측정은 기하학적 거리를 신뢰할 수 있는 대리자로 작용하며, 의미론적인 단축을 위험 없이 긴거리 직접 연결을 허용하기 위해 엣지 가위(큰 $`\alpha`$)를 사용합니다. 반면에 LID가 높은 영역에서는 일반적으로 큰 곡률, 노이즈 또는 특이점이 있습니다. 이 경우 유클리드 거리는 종종 맨입OLD 기하학적 구조를 위반합니다. 탐색의 위상 정확성을 유지하기 위해 인덱싱 알고리즘은 보수적인 가위 전략(작은 $`\alpha`$)을 채택해야 합니다.

$`u \in V`$가 그래프의 노드이고, $`\widehat{\text{LID}}(u)`$가 추정된 LID라고 합시다. 우리는 가위 매개변수 $`\alpha(u)`$를 다음과 같이 정의합니다:

\begin{equation}
    \alpha(u) \triangleq \Phi( \widehat{\text{LID}}(u) ).
\end{equation}

함수 $`\Phi: \mathbb{R}^+ \to [\alpha_{\min}, \alpha_{\max}]`$는 다음의 기하학적 직관을 충족하도록 설계되었습니다: LID가 높은 영역에서는 그래프가 더 엄격한 연결 제약(작은 $`\alpha`$)을 강제하여 맨입OLD를 단락시키지 않도록 합니다; 반면에 낮은 LID 지역에서 제약은 완화될 수 있습니다(큰 $`\alpha`$).

데이터셋 복잡성 스케일이 다양한 경우에도 매핑이 견고하게 유지되도록, 추정된 LID 값들의 경험적 분포를 기반으로 Z-점수 정규화를 사용합니다. 먼저 정규화 점수 $`z(u)`$를 계산합니다:

\begin{equation}
    z(u) = \frac{\widehat{\text{LID}}(u) - \mu_{\widehat{\text{LID}}}}{\sigma_{\widehat{\text{LID}}}},
\end{equation}

여기서 $`\mu_{\widehat{\text{LID}}}`$와 $`\sigma_{\widehat{\text{LID}}}`$는 전체 그래프에서 계산된 추정 LID 값 집합 $`\{ \widehat{\text{LID}}(v) \mid v \in V \}`$의 평균과 표준 편차를 나타냅니다.

그 다음, 로지스틱 함수를 사용하여 Z-점수를 운영 범위 $`[\alpha_{\min}, \alpha_{\max}]`$로 매핑하는 방식을 제안합니다:

\begin{equation}
    \Phi(\widehat{\text{LID}}(u)) = \alpha_{\min} + \frac{\alpha_{\max} - \alpha_{\min}}{1 + \exp(z(u))}.
\end{equation}

로지스틱 함수는 선형 매핑 대신 그 포화 특성을 활용합니다. LID 추정치는 종종 극단적인 이상치가 있는 무거운 꼬리 분포를 보입니다. 선형 매핑은 이러한 이상치에 과민하게 반응하여 대부분의 데이터에 대한 $`\alpha`$ 값을 왜곡시킵니다. 로지스틱 함수는 강건한 소프트 임계값 메커니즘으로 작용하며, 높은 LID와 낮은 LID 꼬리에서 변동성을 줄입니다(각각 $`\alpha_{\min}`$과 $`\alpha_{\max}`$로 포화)를 유지하면서 인구 평균 주변의 전환 영역에서는 민감도를 유지합니다. 우리는 일반적으로 $`\alpha_{\min}=1.0`$ 및 $`\alpha_{\max}=1.5`$을 사용하며, 그렇지 않으면 표준 연습에 따릅니다. 이 형식은 복잡성($`z(u) \approx 0`$)이 평균인 노드가 $`\alpha \approx 1.25`$, 복잡성이 크게 높은 노드($`z(u) > 0`$)는 1.0에 가까워지는 엄격한 $`\alpha`$를 할당합니다.

매핑 함수 $`\Phi`$는 안정적인 그래프 구축을 위한 다음의 기하학적 속성을 만족시킵니다: 단조성과 유계.

📊 논문 시각자료 (Figures)

감사의 말씀