무거운 꼬리 분포를 가진 색 구슬 모델의 식별 문제

1. 연구 배경 및 목적 본 논문은 인터넷 트래픽 분석 등에서 흔히 마주치는 “색(플로우)별 구슬(패킷) 수가 heavy‑tail 분포를 따르는” 상황을 모델링한다. 전체 구슬 수가 매우 크고, 관측 가능한 샘플링 비율 p가 매우 작을 때(예: p≈10⁻⁴), 관측된 색의 수와 각 색별 샘플링된 구슬 수만으로 전체 색의 개수 K와 색별 구슬 수 분포를 추정할 수 있는지, 그리고 그 정확도는 어느 정도인지를 규명한다. 2. 모델 정의 - 색 i에 속한 구슬 수 v_i는 i.i.d.이며 Pareto(a,b) 혹은 Weibull(β,η)와 같은 heavy‑tail 분포를 따른다. - 전체 구슬 수 V=∑_{i=1}^K v_i이며, V→∞ (K→∞) 가정한다. - 샘플링은 전체 구슬 중 pV( p≪1) 만큼 무작위 복원 추출한다. 구슬이 색 i일 확률은 v_i/V 이다. - 샘플링 후 색 i에 대해 관측된 구슬 수를 \tilde v_i라 두고, \tilde K=∑_{i=1}^K 1_{\{\tilde v_i>0\}} 로 관측 가능한 색의 총수를 정의한다. 3. 주요 확률 변수 - W_j = ∑_{i=1}^K 1_{\{\tilde v_i=j\}} : 정확히 j개의 구슬을 가진 색의 개수. - W_{+j}=∑_{i=1}^K 1_{\{\tilde v_i≥j\}} : 최소 j개의 구슬을 가진 색의 개수. 4. 평균값 분석 (Le Cam 부등식) 조건부로 \tilde v_i는 포아송(Q_{pv_i})에 가깝다. 이를 이용해 |E