동적 로그로그 메모리 절감과 정확도 향상의 새로운 카디널리티 추정기

**1. 서론** 카디널리티 추정은 대규모 데이터 스트림에서 고유 원소 수를 제한된 메모리로 파악해야 하는 핵심 문제이다. 기존에 널리 사용되는 HyperLogLog(HLL)은 6비트 버킷당 저장 구조와 LC‑HMean 전이 방식으로 평균 2 % 수준의 표준 오차를 제공하지만, 전이 구간에서 34 %에 달하는 오류 피크가 존재한다. 또한 카드리니티가 증가함에 따라 버킷당 비트 수를 늘려야 하므로 메모리 복잡도가 B·log log C 로 확장된다. 본 논문은 이러한 세 가지 한계를 동시에 해결하는 DynamicLogLog(DLL)을 제안한다. **2. 배경** LogLog 계열은 해시값을 버킷 선택 비트와 남은 비트의 선행 영(Leading Zero) 개수(NLZ)로 분리한다. 각 버킷은 관측된 최대 NLZ를 저장하고, 이를 기반으로 Linear Counting(LC)과 Harmonic Mean(HMean) 추정기를 조합한다. HLL은 저카디널리티에서는 LC, 고카디널리티에서는 HMean을 사용하지만, 두 추정기 사이의 전이 구간에서 편향이 크게 발생한다. UltraLogLog(ULL)은 보정 테이블을 통해 이 피크를 완화했지만 메모리 사용량이 늘어난다. **3. DLL 아키텍처** DLL은 전역 공유 지수인 *minZeros*를 도입한다. 각 버킷은 절대 NLZ 대신 *relNlz = absNlz – minZeros* 를 저장하며, 4비트(0~15) 범위 내에서 상대값을 인코딩한다(0은 빈 버킷). 이 설계는 다음을 가능하게 한다. - **메모리 절감**: 4비트 버킷당 8개를 32비트 워드에 패킹해 낭비 비트를 없앤다. 2,048버킷이면 1 KB 메모리만 필요한다. - **조기 종료 마스크**: *eeMask = 0xFFFFFFFFFFFFFFFF >>> minZeros* 로 정의된 마스크를 사용해, 해시값이 현재 *minZeros*보다 작은 경우 즉시 반환한다. 고카디널리티에서는 이 비율이 2^(-minZeros) 로 급격히 감소해 99.9% 이상의 입력이 차단된다. - **계층적 프로모션**: 모든 버킷이 최소 1을 저장하면 *minZeros*를 1 증가시키고, 모든 비어 있지 않은 버킷의 저장값을 1 감소시킨다. 이 과정을 통해 전역 지수가 자동으로 상승하며, 버킷당 상대값 범위가 일정하게 유지된다. **4. Dynamic Linear Counting (DLC) 및 하이브리드 블렌드** DLL은 전통적인 LC를 확장한 DLC를 도입한다. 각 *tier* (minZeros 값)마다 빈 버킷 수 V_t 를 측정하고,  DLC(t) = 2^t · B · ln(B / V_t) 를 계산한다. 이는 특정 tier에서의 빈 버킷 비율을 직접 활용해 정확한 추정치를 제공한다. 또한, Logarithmic Hybrid Blend는  Hybrid = α·LCmin + (1–α)·Mean 와 같이 로그 스케일 가중치 α를 적용해 LC와 평균 기반 추정기를 부드럽게 결합한다. 이 블렌드는 전이 구간에서의 급격한 편향을 완전히 제거한다. **5. 보정 메커니즘** - **Self‑similar Correction Factor Lookup**: tier 프로모션 간의 통계적 자기유사성을 이용해, 특정 카드리니티에서의 편향을 사전 계산된 테이블에서 빠르게 보정한다. - **Hybrid+n**: n비트 히스토리(예: Hybrid+2) 를 각 버킷에 저장해 최근 몇 번의 프로모션 상태를 기억함으로써 미세한 편향을 추가로 감소시킨다. - **Layered DLC (LDLC)**: 각 tier마다 별도 LC 블렌드를 적용하고, tier 간 히스토리 보정을 통해 전체 오차를 최소화한다. **6. 병합 및 병렬 처리** 다중 스레드 환경에서 DLL 인스턴스를 병합할 때는 높은 *minZeros* 값을 채택하고, 각 버킷은 상대값의 최대값을 선택한다. 프로모션 타이밍 차이로 인한 오버플로우가 발생할 수 있어, 병합 후 추가 보정 단계가 필요하다. **7. 실험 및 결과** - **설정**: B=2,048, 512 k 시뮬레이션, 최대 카드리니티 8,388,608. - **성능**: DLL4 Hybrid은 평균 1.830%·피크 1.834% 오차를 기록, 메모리 1 KB. 동일 메모리(1,536 B) HLL은 평균 1.84%·피크 34.1% 오차. - **DLC**: 보정 없이도 평균 1.90%·피크 1.93% 오차. - **UDLL6**: DLL과 ULL 결합으로 메모리 1.5 KB에서 ULL 수준(평균 1.95%·피크 1.96%)을 달성, 메모리 25% 절감. - **속도**: 조기 종료 마스크 덕분에 HLL 대비 16~29% 빠른 처리 속도. **8. 논의** DLL은 메모리·속도·정확도 3박자를 모두 만족시키는 최초의 카디널리티 추정기이다. 특히 대규모 스트리밍(네트워크 트래픽, 유전체 k‑mer 카운팅 등)에서 메모리 제약이 심한 경우, 4비트 버킷과 전역 지수만으로도 충분히 높은 정확도를 제공한다. 다만, 병합 시 오버플로우와 히스토리 보정 비용이 존재하므로, 분산 환경에서는 추가적인 보정 로직이 필요하다. 향후 연구에서는 하드웨어 가속(예: SIMD 기반 eeMask 연산)과 동적 버킷 수 조정 메커니즘을 탐색할 예정이다. **9. 결론** DynamicLogLog은 공유 전역 지수와 상대 NLZ 저장 방식을 통해 HLL의 메모리·속도·오차 피크 문제를 동시에 해결한다. 4비트 버킷으로 33% 메모리를 절감하고, 99.9% 이상의 입력을 조기 차단해 처리 속도를 높이며, DLC와 Logarithmic Hybrid Blend를 통해 전 범위에 걸친 평탄한 오차 곡선을 제공한다. UltraLogLog과의 융합인 UDLL6은 메모리 25% 절감으로 동일 수준의 정확도를 달성한다. 이 결과는 스트리밍 데이터 분석, 네트워크 모니터링, 유전체 분석 등 다양한 분야에서 실용적인 대안이 될 수 있음을 시사한다.