ZOR 필터: 결정적 구축과 초소형 메모리 효율

초록

ZOR 필터는 XOR·퓨즈 필터의 빠른 쿼리 방식을 유지하면서, 재시작 없이 결정적으로 구축되는 정적 멤버십 필터이다. 건설 과정에서 소수의 키를 포기하고 이를 별도 보조 구조에 저장함으로써 거짓음성 없이 거짓양성만 허용하는 특성을 회복한다. 실험 결과, arity ≥ 5일 때 포기된 키 비율이 1 % 이하로 감소하고, 전체 메모리 오버헤드는 정보 이론적 한계인 log₂(1/ε) 에 1 % 미만만 추가한다. 구축 속도는 현재 구현이 최적화된 퓨즈 빌더보다 몇 배 느리지만, 엔지니어링 최적화 여지가 크다.

상세 분석

ZOR 필터는 기존 XOR·퓨즈 필터가 사용하던 “peeling” 과정에서 발생하는 재시작 문제를 근본적으로 해결한다. 전통적인 방법은 해시 시드가 바뀔 때까지 전체 구축을 반복해야 하는데, 이는 확률적 성공률에 의존한다. ZOR은 “deterministic peeling”을 도입해, 남은 서브그래프가 모든 셀의 차수가 2 이상인 상황에 도달하면 차수가 최소인 셀을 선택하고, 해당 셀에 연결된 키 중 하나만 유지하고 나머지는 강제로 포기한다. 이때 포기된 키는 incidence 리스트에서 완전히 삭제되므로 차수가 감소하고, 최소 차수 셀은 곧 차수 1이 되어 peeling이 계속 진행된다. 이 과정은 매 단계마다 최소 한 개의 키가 사라지므로 반드시 종료한다.

포기된 키 집합 A의 비율 α는 arity N과 셀 수 m에 크게 좌우된다. 논문에서는 m = n(키당 셀 하나)으로 설정해 메인 구조의 비트 사용량을 최소화하고, α를 감소시키기 위해 N을 5 이상으로 늘렸다. 실험에서는 N = 5일 때 α < 1 %를 기록했으며, 이는 보조 구조가 전체 키 중 극히 일부만을 담당한다는 의미다.

보조 구조는 선택적으로 퓨즈 필터, MPHF+fingerprint 테이블 등 다양한 정적 필터를 사용할 수 있다. 저자는 보조 구조의 fingerprint 크기 G를 최적화하기 위해 전체 오류 ε_tot ≈ 2⁻ᶠ + 2⁻ᴳ(여기서 f는 메인 필터의 fingerprint 비트 수)라는 근사를 사용했다. 최적화 조건은 G* ≈ F + log₂(1/α)이며, 이는 포기된 비율이 작을수록 보조 구조의 fingerprint을 짧게 유지할 수 있음을 보여준다. 결과적으로 전체 메모리 사용량 B(F,G) = F + αG는 정보 이론적 한계 log₂(1/ε_tot)에 매우 근접한다.

성능 측면에서 ZOR 필터는 메인 구조의 쿼리 경로가 기존 XOR·퓨즈 필터와 동일하므로 양성 쿼리와 부정 쿼리 모두에서 100 ns 이하의 응답 시간을 달성한다. 다만, 부정 쿼리에서 포기된 키가 메인 구조에 의해 “부재”로 판단될 경우 보조 구조를 추가 검사하게 되므로 약간의 지연이 발생한다. 구축 시간은 현재 구현이 incidence 정보를 명시적으로 유지하면서 진행되기 때문에 최적화된 퓨즈 빌더보다 수배 느리다. 그러나 이 부분은 데이터 구조와 메모리 레이아웃을 개선하면 크게 단축될 가능성이 있다.

ZOR 필터의 주요 기여는 (1) 재시작 없이 결정적으로 구축되는 알고리즘, (2) 포기된 키를 최소화하고 보조 구조로 보완함으로써 거짓음성을 완전히 제거한 설계, (3) 정보 이론적 한계에 1 % 이내의 오버헤드로 접근하는 공간 효율성이다. 이러한 특성은 대규모 정적 집합을 다루는 데이터베이스, 파일 시스템, 바이오인포매틱스 k‑mer 인덱스 등에서 실용적인 이점을 제공한다.