상호정보량 하한에 대한 새로운 통찰

초록

본 논문은 Kraskov 등(2004)이 제시한 실수형 변수 간 상호정보량(MI)의 하한에 관한 주장들을 정정한다. 선형 상관계수만을 이용한 비자명한 MI 하한은 변수의 주변분포에 의존한다는 점을 보이며, 이는 MI가 재파라미터화에 불변하지만 선형 상관계수는 그렇지 않기 때문이다. 가우시안 주변분포에 대해서는 간단한 식이 도출되고, 실용적인 경우에는 각 변수의 순위(랭크)를 사용해 균등 분포를 강제함으로써 스피어만 상관계수와 연계된 하한을 얻는다. 유전자 발현 데이터에 적용한 결과, 제시된 하한이 일반적으로 비자명하며, 하한의 포화 정도가 변수 간 비선형 의존성에 대한 중요한 정보를 제공함을 확인한다.

상세 요약

Kraskov et al. (2004)는 상관계수 ρ와 상호정보량 I(X;Y) 사이에 I ≥ −½ log(1−ρ²)와 같은 형태의 하한을 제시했지만, 이 식은 주변분포가 가우시안일 때만 정확히 성립한다는 점을 간과했다. 본 논문은 MI가 변수의 개별 변환(예: 단조 증가 함수) 아래에서도 불변함을 강조하면서, 선형 상관계수는 이러한 변환에 따라 크게 변한다는 사실을 이용한다. 따라서 “선형 상관계수만으로 MI의 하한을 정한다”는 일반적 주장은 틀리다. 저자들은 먼저 주변분포가 정규인 경우, 최대 엔트로피 원리에 의해 I(X;Y) ≥ −½ log(1−ρ²) 가 최솟값이 됨을 증명한다. 그 다음, 주변분포를 균등으로 강제하면(각 변수의 순위 변환을 통해) 동일한 형태의 하한이 스피어만 ρ_s에 대해 성립한다: I ≥ −½ log(1−ρ_s²). 이때 ρ_s는 순위 기반 상관계수이므로, 비선형 관계가 존재하더라도 순위는 보존되어 보다 일반적인 하한을 제공한다. 논문은 또한, 주변분포가 임의일 때는 라그랑주 승수법을 이용해 최적의 공동분포를 구성하고, 그 결과 얻어지는 하한이 주변분포 함수에 명시적으로 의존함을 수식적으로 제시한다. 실험적으로는 유전자 발현 데이터셋에 대해 원본 값과 순위 변환값을 각각 사용해 MI와 하한을 비교하였다. 결과는 대부분의 경우 하한이 실제 MI와 상당히 근접했으며, 특히 하한이 포화에 가까울 때는 두 변수 간 관계가 거의 선형임을, 하한과 실제 MI 사이의 격차가 클 때는 복잡한 비선형 상호작용이 존재함을 시사한다. 이러한 관찰은 데이터 분석 단계에서 변수 선택이나 네트워크 재구성에 유용한 정량적 지표를 제공한다는 점에서 실용적 의미가 크다.