보이지 않는 종 문제 재조명

초록

본 논문은 관측된 표본으로부터 추가 표본을 수집했을 때 새롭게 나타날 종(또는 사건)의 수를 예측하는 ‘보이지 않는 종 문제’를 세 구간(근거리, 중간거리, 원거리)으로 나누어 분석한다. 작은 추가 표본에서는 고전적인 Good‑Toulmin 추정기가 최적임을 증명하고, 예측 구간을 구성한다. 중간 규모에서는 새로운 선형 추정기를 제안해 기존 Smoothed Good‑Toulmin 추정기보다 최악의 경우 성능을 크게 개선한다. 큰 규모에서는 파워‑법칙 꼬리 가정을 이용해 오래된 추정기가 최신 방법보다 더 나은 수렴 속도를 보임을 보이고, 전 범위에 걸쳐 집합형(incidence) 데이터에도 동일한 결과를 확장한다. 또한 크기‑편향 결합을 이용한 새로운 집중 불평등을 제시한다.

상세 분석

논문은 먼저 “보이지 않는 종 문제”를 기존의 지원 크기 추정과 누락 질량 문제 사이의 중간 문제로 정의하고, 이를 일반화하여 표본이 다중집합(multiset) 형태로 주어지는 경우까지 확장한다. 이때 관측된 종의 빈도 N_s 를 이용해 새로운 종의 수 S_{t,T}=|S_T\setminus S_t| 를 예측한다.

1. 근거리(r≤1)에서는 Good‑Toulmin 추정기 (\hat S_{GT}= -\sum_{s: N_s>0}(-r)^{N_s}) 를 분석한다. 저자들은 모든 r∈