시간 시계열 상호 정보 추정기의 성능 비교

초록

본 연구는 히스토그램(고정·적응형 비트), k‑최근접 이웃, 커널 기반 상호 정보 추정기의 자유 파라미터 최적화를 다루며, 다양한 선형·비선형 시스템의 시계열에 대해 일관성, 편향, 잡음 내 견고성을 평가한다. Monte Carlo 시뮬레이션 결과 k‑최근접 이웃 추정기가 파라미터에 가장 둔감하고 안정적이며, 히스토그램·커널 추정기는 비선형 시스템에서 첫 최소값 지연을 찾는 데 오차가 가장 적다.

상세 분석

본 논문은 상호 정보(MI) 추정에 널리 사용되는 세 가지 방법—고정·적응형 비트 히스토그램, k‑최근접 이웃(k‑NN), 그리고 커널 밀도 추정(KDE)—의 자유 파라미터 선택이 추정 정확도와 수렴 특성에 미치는 영향을 체계적으로 분석한다. 먼저, 각 추정기의 이론적 배경을 정리하고, 파라미터(비트 수, k값, 커널 폭)와 샘플 크기 사이의 관계를 수학적으로 설명한다. 이후, 선형 AR(1) 모델, 비선형 로렌츠 시스템, 그리고 잡음이 섞인 비선형 맵 등 네 종류의 시계열을 대상으로 10³~10⁵ 길이의 데이터를 생성하고, 실제 MI 값을 수치적으로 계산한 뒤 추정값과의 차이를 평균 제곱 오차와 편향으로 정량화한다. 결과는 k‑NN 추정기가 k값 변화에 거의 민감하지 않으며, 특히 데이터 길이가 10⁴ 이상일 때 빠르게 수렴한다는 점을 보여준다. 반면, 히스토그램 방식은 비트 수가 과소/과다 설정될 경우 편향이 크게 증가하고, 적응형 비트 선택 기준(예: Sturges, Freedman‑Diaconis)도 비선형 시스템에서는 보수적이라 실제 MI를 과소평가한다. 커널 추정기는 밴드폭 선택이 핵심인데, 은닉 교차 검증(CV) 기반 최적화가 잡음이 섞인 경우에도 비교적 안정적인 추정값을 제공한다. 특히, 비선형 시스템에서 MI의 첫 최소값(시간 지연 선택 기준) 위치를 식별할 때는 히스토그램과 커널이 가장 정확했으며, k‑NN은 최소값 위치를 약간 앞당겨 추정하는 경향을 보였다. 잡음에 대한 내성 테스트에서는 k‑NN과 커널이 노이즈 레벨이 20 %까지 상승해도 편향이 5 % 이하로 유지되는 반면, 히스토그램은 10 % 수준에서 급격히 악화된다. 최종적으로 논문은 파라미터 선택을 자동화하는 데이터 적응형 기준을 제안하고, 각 추정기의 장단점을 정리하여 실무 적용 시 선택 지침을 제공한다.