다중 속성 그룹 공정성을 위한 k‑NN 검색 프레임워크

초록

본 논문은 벡터 데이터베이스에서 다중 보호 속성을 고려한 그룹 공정성(k‑NN) 검색 문제를 정의하고, 2개 속성에 대해서는 최소 비용 흐름 기반의 정확한 다항식 알고리즘을, 3개 이상 속성에 대해서는 정수선형계획(ILP) 기반의 정확한 해법을 제시한다. 또한 LSH 기반 후보 생성과 경량 인덱스를 결합한 두 단계 프레임워크를 설계해 검색 효율과 공정성 만족 사이의 트레이드오프를 이론적으로 분석하고 실험적으로 검증한다.

상세 분석

이 논문은 기존 벡터 검색 연구가 효율성 혹은 필터링에 집중해 온 반면, 보호 속성(성별, 인종, 연령 등)별 비율을 강제하는 “그룹 공정성” 요구를 동시에 만족시켜야 하는 새로운 문제 영역을 제시한다. 문제 정의는 다중 속성 A={A₁,…,A_m}에 대해 각 값 v∈V_j에 대해 요구되는 카운트 β_{j,v}를 명시하고, 쿼리 벡터 q에 대해 총 거리 ∑{(x,a)∈S}‖x−q‖를 최소화하면서 |S|=k, 그리고 모든 속성‑값 쌍에 대해 |{(x,a)∈S | a_j=v}|=β{j,v}를 만족하는 집합 S를 찾는 것으로 formalize 된다.

복잡도 측면에서 저자는 3‑속성 이상(3+-Fair‑KNN) 경우를 3‑차원 매칭(3DM) 문제에 귀환함으로써 강한 NP‑hardness를 증명한다. 이는 속성 간 독립적인 카운트 제약이 동시에 만족되어야 하므로, 후보 집합 선택이 조합적 폭발을 일으킨다는 점을 강조한다. 반면, 1‑속성(1‑Fair‑KNN)과 2‑속성(2‑Fair‑KNN) 경우는 각각 단일 제약과 이분 그래프의 최소 비용 흐름 모델로 변환 가능함을 보이며, 다항 시간 알고리즘을 설계한다. 특히 2‑속성 경우는 “속성‑값 × 속성‑값” 이중 파티션을 만든 뒤, 각 파티션을 정점으로 하는 bipartite 그래프를 구성하고, 각 정점 간 비용을 거리 기반으로 설정해 min‑cost flow 문제로 풀어 최적 해를 얻는다.

실제 시스템 구현을 위해 저자는 두 단계 인덱싱 구조를 제안한다. 첫 번째 단계는 보호 속성들의 카르테시안 곱에 따라 데이터베이스를 파티셔닝하고, 각 파티션에 비트맵 인덱스를 구축해 속성‑값 조합별 존재 여부를 O(1) 시간에 확인한다. 두 번째 단계는 각 파티션 내부에서 LSH (Locality Sensitive Hashing)를 적용해 고차원 벡터의 근사 최근접 이웃을 효율적으로 추출한다. LSH는 해시 테이블 수를 충분히 늘리면 true neighbor를 포함할 확률을 임의로 높일 수 있다는 이론적 보장을 제공하므로, 후보 집합의 recall을 제어한다.

후처리 단계에서는 앞서 추출된 후보 집합을 입력으로 받아, 위에서 설계한 Alg‑1‑Fair, Alg‑2‑Fair, Alg‑3+‑Fair 알고리즘을 적용한다. 1‑Fair‑KNN은 단순히 각 속성 값별 상위 β_{j,v} 개를 선택하면 되지만, 2‑Fair‑KNN은 min‑cost flow를 통해 전체 거리 합을 최소화하면서 두 속성의 카운트를 동시에 만족한다. 3‑속성 이상에서는 ILP 모델을 구성해 변수 x_i∈{0,1} (i번째 후보 선택 여부)와 제약식 ∑{i:a_i_j=v} x_i = β{j,v}를 동시에 만족하도록 최적화한다. ILP는 상용 솔버(Gurobi, CPLEX 등)로 해결 가능하지만, 후보 수가 급증하면 계산 비용이 크게 늘어남을 인정한다.

이론적 분석에서는 알고리즘의 시간·공간 복잡도를 정량화하고, LSH 기반 후보 생성 단계가 전체 파이프라인의 병목이 아님을 보인다. 또한, 공정성 제약이 존재할 때 최적 해와 근사 해 사이의 거리 차이를 상한으로 제시해, 후보 집합이 충분히 풍부하면 근사 해도 실제 거리 손실이 작다는 점을 증명한다.

실험에서는 이미지 임베딩(FAISS, CLIP), 텍스트 임베딩, 멀티모달 데이터 등 다섯 개 대규모 데이터셋을 사용해 기존 ANN 기법(SIFT, HNSW, DiskANN)과 공정성 적용 버전을 비교한다. 결과는 (1) 기존 기법을 그대로 적용하면 카운트 제약 위반률이 30‑70% 수준으로 높으며, (2) 제안 프레임워크는 99% 이상의 제약 만족률을 유지하면서 평균 응답 시간을 3‑4배 가속, 메모리 오버헤드는 파티션 수에 비례해 선형적으로 증가하지만 실용적인 수준에 머문다. 또한, 2‑속성 경우 min‑cost flow가 ILP 대비 10배 이상 빠르게 수렴함을 확인했다.

전체적으로 이 논문은 “다중 속성 그룹 공정성”이라는 새로운 검색 목표를 명확히 정의하고, 이론적 난이도 구분에 따라 맞춤형 정확 알고리즘을 제공한다. LSH와 카르테시안 파티셔닝을 결합한 인덱스 설계는 후보 집합을 효율적으로 제한하면서도 높은 recall을 보장한다는 점에서 실용적이며, ILP 기반의 3‑속성 이상 해법은 현재 기술 수준에서 가능한 최선의 정확성을 제공한다. 향후 연구는 근사 흐름 알고리즘이나 라그랑주 이완을 통한 스케일링, 동적 속성 업데이트 처리, 그리고 공정성‑효율성 다목적 최적화를 탐색할 여지를 남긴다.