상호정보는 코퓰라 엔트로피와 같다

초록

본 논문은 상호정보(MI)가 실제로는 코퓰라(copula) 엔트로피의 음수와 동일함을 증명하고, 이를 기반으로 새로운 MI 추정 방법을 제안한다. 이론적 증명, 추정 알고리즘, 실험 결과를 통해 기존 방법 대비 높은 정확도와 효율성을 보인다.

상세 요약

본 연구는 정보이론과 통계학의 교차점에 위치한 코퓰라 이론을 활용하여 상호정보(MI)의 새로운 해석을 제시한다. 전통적으로 MI는 두 확률변수 X와 Y 사이의 의존성을 측정하는 비대칭적 척도로 정의되며, 엔트로피 차이 혹은 Kullback‑Leibler 발산 형태로 표현된다. 그러나 이러한 정의는 실제 데이터에서의 추정이 고차원일수록 어려워지는 문제점을 안고 있다. 논문은 먼저 다변량 연속 확률분포 f_{XY}(x,y)를 마진 분포 f_X(x), f_Y(y)와 코퓰라 밀도 c(u,v)로 분해하는 Sklar 정리를 소개한다. 여기서 u=F_X(x), v=F_Y(y)는 각각의 누적분포함수(CDF)값이며, 코퓰라 c(u,v) = ∂²C(u,v)/∂u∂v 로 정의된다.

핵심 정리는 다음과 같다.
I(X;Y) = ∫∫ f_{XY}(x,y) log