비모수 정보량 추정의 새로운 패러다임: 영향 함수 기반 엔트로피·다이버전스·상호정보량 추정기

본 논문은 비모수 환경에서 정보 이론적 함수형—엔트로피, 다이버전스, 상호정보량—을 정확하고 효율적으로 추정하기 위한 통합 이론과 알고리즘을 제시한다. 서론에서는 이러한 함수형이 가설 검정, 특징 선택, 그래프 구조 학습 등 다양한 머신러닝·통계 응용에서 핵심 역할을 함을 강조하고, 기존 추정기들이 주로 특정 함수에 특화되었으며 고차원·조건부 상황에서 성능이 제한적임을 지적한다. 핵심 이론적 도구는 영향 함수와 Von Mises 전개이다. 함수형 T(P) 또는 T(P,Q)가 L₂ 공간에서 Gâteaux 미분가능하다고 가정하면, 그 미분 연산자를 ψ(x;P) 혹은 ψ₁, ψ₂(x;P,Q) 형태의 영향 함수로 표현할 수 있다. 이때 T(Q)=T(P)+∫ψ(x;P)d(Q−P)(x)+R₂(P,Q)이며, R₂는 ‖p−q‖₂²에 비례하는 2차 잔차이다. 이러한 전개는 추정기의 편향을 정확히 보정하는 “사후 보정(post‑hoc correction)” 전략을 가능하게 한다. 두 가지 실현 방법을 제안한다. 첫 번째는 데이터‑스플릿(DS) 방식으로, 표본을 절반으로 나누어 하나는 커널 밀도 \hat f^{(1)}를 구축하고, 다른 절반으로 ψ(X_i;\hat f^{(1)})의 평균을 계산한다. 두 번째는 Leave‑One‑Out(LOO) 방식으로, 각 표본 i를 제외한 나머지로 \hat f^{−i}를 추정하고, ψ(X_i;\hat f^{−i})를 모두 평균한다. 두 방법 모두 영향 함수가 실제 분포에 독립적이므로, 편향 보정이 정확히 이루어진다. 이론적 분석에서는 Hölder 클래스 Σ(s,L)에 속하는 충분히 매끄러운 밀도에 대해, DS와 LOO 모두 파라메트릭 수렴률 O(n⁻¹/²)와 최소극대 하한을 달성함을 증명한다. 특히 DS는 제한된 데이터 사용으로 실험적 효율이 떨어지는 반면, LOO는 전체 데이터를 활용해 편향을 크게 감소시킨다. 다중 분포 함수 T(P,Q)에도 동일한 전개를 적용해 두 개의 영향 함수를 정의하고, DS와 LOO 버전을 각각 설계한다. 이때 n과 m이 동일 차수로 성장하면 동일한 수렴률을 유지한다. 구현 측면에서는 커널 밀도 추정에 Gaussian 커널을 사용하고, 밴드위스는 은닉적인 데이터‑스플릿 기반 교차 검증 없이도 이론적 최적값에 근접하도록 설정한다. 17가지 정보량—Shannon, Rényi, Tsallis 엔트로피; KL, Hellinger, χ², f‑다이버전스; 조건부 및 상호정보량 등—에 대해 영향 함수를 명시적으로 도출하고, 각 함수에 대한 LOO 추정식을 표 1에 정리한다. 일부 복잡한 함수는 부록에 상세 유도 과정을 제공한다. 실험에서는 합성 데이터와 실제 이미지 데이터셋을 사용한다. 합성 실험에서는 다양한 차원(d=2~10)과 샘플 크기(n=200~5000)에서 평균 제곱오차(MSE)를 비교했으며, LOO 추정기가 기존 KNN 기반, Kozachenko–Leonenko, Barycentric 등 특화된 방법보다 일관되게 낮은 MSE를 기록했다. 특히 조건부 Rényi 다이버전스와 Tsallis 상호정보량 같은 고차원·조건부 함수에서 LOO는 30%~50% 정도의 오차 감소를 보였다. 계산 복잡도는 대부분 O(n²)이며, 이는 일부 O(n³) 복잡도를 갖는 기존 방법보다 효율적이다. 마지막으로 이미지 클러스터링 과제에서는 각 이미지의 색상·텍스처 분포를 추정하고, 추정된 상호정보량을 거리로 사용해 K‑means 클러스터링을 수행했다. LOO 기반 거리 측정은 기존 유클리드 거리나 KL 기반 거리보다 더 명확한 군집 구분을 제공했으며, 정량적 군집 품질 지표(Adjusted Rand Index)에서도 0.72→0.81로 향상되었다. 결론적으로, 영향 함수와 Von Mises 전개를 활용한 DS·LOO 프레임워크는 비모수 정보량 추정에 있어 이론적 최적성, 구현의 일반성, 그리고 실험적 우수성을 동시에 만족한다. 저자들은 이 구현을 오픈소스(https://github.com/kirthevasank/if-estimators)로 공개하여, 향후 다양한 머신러닝·통계 연구에서 손쉽게 활용될 수 있도록 기여한다.