스스로 학습하는 비트맵으로 구현하는 스케일 인베리언트 중복 카운팅

초록

본 논문은 데이터 스트림에서 중복 원소 수(카디널리티)를 추정하기 위해, 적응형 샘플링 비율을 사용해 비트맵을 점진적으로 0→1으로 전환하는 “S‑bitmap” 알고리즘을 제안한다. 이 방법은 추정 오차(RRMSE)가 목표 범위 전체에 걸쳐 일정하게 유지되는 스케일 인베리언트를 보장하며, 기존 방법보다 메모리 사용량이 현저히 적다.

상세 분석

S‑bitmap은 기존 비트맵 기반 카디널리티 추정기의 한계를 극복하기 위해 두 가지 핵심 아이디어를 결합한다. 첫째, 비트맵의 각 비트를 “채워지는” 순서를 관찰하고, 이미 채워진 비트 수 Lₜ가 증가함에 따라 샘플링 비율 p_b를 점진적으로 감소시킨다. 이는 Morris(1978)의 가변 카운터 개념을 확장한 것으로, 초기에는 높은 확률로 비트를 채우지만, 비트가 포화될수록 새로운 원소가 비트를 채울 확률을 낮춤으로써 포화 현상을 완화한다. 둘째, 비트맵 상태 변화를 비정상 마코프 체인으로 모델링하고, 해당 체인의 마팅게일 특성을 이용해 추정량 ˆn을 정의한다. 논문에서는 T_b (b번째 비트가 처음 1이 되는 시점) 의 기대값을 정확히 계산하고, 이를 역으로 n에 대한 무편향 추정식으로 변환한다. 수학적 증명에서는 E