균등 분포 ℓ₂ 헤비히터를 최적 공간으로 탐지하는 방법

초록

본 논문은 무작위 순서가 아닌, 헤비히터만이 스트림 전체에 균등하게 나타나는 “부분 무작위 순서” 스트림을 대상으로, ℓ₂ 기준 헤비히터를 O((1/ε)·log n) 비트의 최적 공간으로 정확히 찾아내는 알고리즘을 제시한다. 알고리즘은 사전에 F₂의 상수 근사값과 랜덤 오라클을 가정하고, 윈도우를 이용한 계층적 샘플‑체크 기법을 활용한다. ε가 Ω(1/√log n) 이상일 때 공간 복잡도와 성공 확률이 최적임을 증명한다.

상세 분석

이 논문은 기존 삽입 전용 스트림에서 ℓ₂ 헤비히터를 탐지하기 위해 사용되던 CountSieve·BPTree 계열 알고리즘이 필요로 하는 O((1/ε)·log(1/ε)·log n) 공간을, 헤비히터가 스트림에 균등하게 분포한다는 추가 가정 하에 O((1/ε)·log n) 로 감소시킨다. 핵심 아이디어는 스트림을 길이 W≈n·√(ε/F₂)인 윈도우로 나누고, 각 윈도우에서 아이템을 독립적으로 샘플링한 뒤 해시값만 저장하는 “샘플‑체크” 프레임워크이다. 헤비히터는 거의 매 윈도우에 최소 한 번씩 등장하므로, 연속된 몇 개 윈도우에서 동일 해시값이 관측되면 해당 아이템을 후보로 삼을 수 있다. 이때 해시값만 저장하면 O(log log n) 비트로 충분하고, 실제 아이템을 확인해야 할 경우에만 O(log n) 비트를 사용하도록 공간을 동적으로 할당한다. 또한 여러 인스턴스를 병렬로 실행하되, 동시에 O(log n) 비트를 초과하는 인스턴스는 일시 정지시키는 “시간 공유” 기법을 도입해 전체 공간을 O((1/ε)·log n) 로 제한한다. 알고리즘은 각 헤비히터가 “슈퍼 헤비히터”(같은 버킷 내에서 두 번째 모멘트가 충분히 작음)임을 가정하지 않고, 오히려 균등 분포와 충분한 윈도우 길이만으로 고확률 검출을 보장한다. 증명에서는 헤비히터가 각 윈도우에 나타나는 횟수를 하한으로 잡고, 가벼운 아이템이 동일 해시값을 연속으로 만들 확률을 1/K 로 억제한다. 결과적으로 ε≥c/√log n 인 경우에 성공 확률 0.9 이상을 보장하면서, 최적의 O((1/ε)·log n) 공간을 달성한다.