내적 유사도 검색을 위한 합성 코드

초록

본 논문은 내적(inner‑product) 유사도 기반 최근접 이웃 탐색을 위해, 데이터 벡터를 여러 사전 원소의 합성으로 근사하고 그 선택 인덱스를 짧은 코드로 저장하는 방법을 제안한다. M개의 사전으로부터 각각 하나씩 선택하는 ‘그룹 M‑selection’ 알고리즘이 기존 k‑means, 단일 M‑combination 등에 비해 동일 코드 길이에서 더 정확한 근사와 빠른 검색을 제공함을 이론적 경계와 대규모 실험(1M·1B SIFT, 1M 선형 모델, Netflix)으로 입증한다.

상세 분석

이 논문은 고차원 데이터베이스에서 내적 유사도(점곱)를 효율적으로 근사·검색하기 위한 새로운 압축 코딩 프레임워크를 제시한다. 핵심 아이디어는 데이터 벡터 x 를 사전 C 에 속한 M개의 원소 c₁,…,c_M 의 합 p = ∑{m=1}^M c{nm} 으로 근사하고, 각 원소를 선택한 인덱스 y_{nm} 을 순차적으로 나열해 M·log K 비트 길이의 ‘합성 코드’를 만든다. 내적 연산은 분배법칙 ⟨q,∑c⟩ = ∑⟨q,c⟩ 을 이용해 사전 원소와 쿼리 q 의 내적값을 미리 계산한 뒤, 코드에 저장된 인덱스만 합산하면 O(M) 시간에 근사 내적을 얻을 수 있다.

논문은 세 단계의 확장 모델을 순차적으로 고안한다. (1) k‑means 기반 1‑combination은 각 데이터가 하나의 사전 원소에 매핑되는 전통적인 양자화 방식이다. (2) M‑selection은 동일 사전 C 에서 중복을 허용해 M 개의 원소를 선택하도록 하여, 코드 길이는 그대로 유지하면서 근사 정확도를 향상시킨다. (3) 그룹 M‑selection은 M 개의 서로 다른 사전 C₁,…,C_M 을 동시에 학습·선택함으로써 ‘합성 사전’의 크기를 K^M 까지 확장한다. 이때 각 사전은 독립적으로 최적화되며, 전체 목표는 ‖X − DB‖_F²를 최소화하는 것이다.

최적화는 교대 방식으로 수행한다. 사전 D (=