스트리밍과 스케치로 엔트로피 추정: 근사 이론과 체비쉐프 다항식 활용

논문은 스트리밍 데이터에서 샤논 엔트로피 H를 근사하는 문제를 다루며, 특히 삽입·삭제가 자유로운 일반 turnstile 모델을 목표로 한다. 기존 연구들은 삽입 전용 스트림에 대해서는 O(ε⁻²·log n) 혹은 O(ε⁻³·log³ m) 정도의 공간을 요구했으며, 삭제를 허용하는 경우에는 더 큰 상한이 존재했다. 저자들은 이러한 격차를 메우기 위해 두 단계의 전략을 제시한다. 첫 번째 단계는 레니 엔트로피 Hₐ와 차티스 엔트로피 Tₐ를 추정하는 것이다. 두 엔트로피는 각각 Hₐ = log(‖x‖ₐᵃ)/(1−a)와 Tₐ = (1−‖x‖ₐᵃ)/(a−1) 로 정의되며, a=1+δ 로 두면 a가 1에 가까울수록 샤논 엔트로피와 수렴한다. 이때 필요한 빈도 모멘트 F_{1+δ}=∑|A_i|^{1+δ}는 기존의 (α,ε)-모멘트 스케치 알고리즘을 그대로 적용해 (1±ε̃) 정확도로 추정할 수 있다. 두 번째 단계는 여러 δ값(또는 y_i)에서 얻은 T(y_i) 혹은 H(y_i) 값을 이용해 a=1에서의 값을 보간하는 과정이다. 여기서 핵심은 보간 오차를 최소화하기 위해 체비쉐프 다항식의 극점(코사인 값)을 매핑한 y_i를 선택한다. 구체적으로, k=⌈log(1/ε)+log log m⌉ 로 잡고, ℓ=1/(2(k+1)·log m) 로 정의한 뒤, f(y)= (k²·ℓ)·y−ℓ·(k²+1)²/(k²+1) 로 변환한다. 그 후 y_i = f(cos(iπ/k)) (i=0…k) 를 사용한다. 이 점들은