연속형 다변량 데이터용 비모수적 상호 의존성 측정기 TCMI

초록

TCMI는 누적 확률분포를 이용해 연속형 변수들의 다변량 상호 의존성을 비모수적으로 추정한다. 기존 상호정보량이 연속형 확률밀도 추정에 의존하는 반면, TCMI는 누적 엔트로피 차이를 기반으로 하여 표본 수와 특징 집합의 차원(카디널리티)을 보정한다. 비파라메트릭·견고·결정론적 특성 덕분에 서로 다른 크기의 특징 집합을 직접 비교·순위화할 수 있으며, 브랜치‑앤‑바운드 탐색과 결합해 효율적인 특징 선택을 수행한다. 시뮬레이션, 표준 데이터셋, 재료 과학 사례에서 기존 CMI·MAC·UDS 대비 높은 선택 정확도와 안정성을 보였다.

상세 분석

TCMI(총 누적 상호정보량)는 연속형 다변량 데이터의 의존성을 정량화하기 위해 기존 상호정보량(MI)의 한계를 극복한 새로운 측도이다. MI는 확률밀도함수(p)와 조건부 확률밀도함수(p|x)를 필요로 하는데, 고차원 연속형 데이터에서는 KDE·k‑NN 등 비모수 추정법이 표본 부족과 차원의 저주에 취약하다. TCMI는 이러한 문제를 회피하기 위해 누적 분포함수(CDF)와 누적 엔트로피(Ĥ(Y))를 직접 경험적으로 계산한다. 누적 엔트로피는 ∫ P(Y≤y) dy 형태로 정의되며, 표본이 주어지면 경험적 CDF를 사다리꼴 적분으로 손쉽게 구한다.

TCMI의 핵심은 두 단계 보정이다. 첫째, “베이스라인 보정” D(Y;X)는 독립 변수 집합에 대해 기대되는 누적 상호정보량을 추정한다. 이는 무작위 변수들의 조합으로부터 얻은 평균 누적 상호정보량을 표본 수와 특징 수에 따라 정규화함으로써, 실제 의존성 점수가 단순히 차원 증가에 의해 부풀어 오르는 것을 방지한다. 둘째, “조정된 누적 상호정보량” I∗(Y;X)=I(Y;X)−D(Y;X) 를 정의해, 순수한 의존성만을 남긴다. 이 조정값은 0(완전 독립)에서 최대값(완전 결정)까지 제한되며, 특징 집합이 늘어날수록 단조 증가하지만, 모든 관련 변수를 포함하면 포화한다.

비모수적 특성은 데이터 요약(클러스터링·빈 구간화) 없이도 CDF를 직접 계산한다는 점에서 기존 CMI, MAC, UDS와 차별화된다. CMI는 조건부 누적 엔트로피를 근사하기 위해 데이터 요약과 클러스터링을 필요로 하고, MAC·UDS는 최적 이산화(빈 선택)를 통해 엔트로피를 추정한다. 이러한 파라메터(빈 수, 클러스터 수 등)는 결과에 큰 편향을 일으키지만, TCMI는 이러한 선택을 전혀 요구하지 않는다.

특징 선택 절차는 (1) TCMI를 이용해 각 후보 특징 집합과 목표 변수 Y 사이의 조정된 누적 상호정보량을 계산, (2) 이를 독립 가정 하의 평균값과 비교해 상대적 기여도 ˆD∗를 구함, (3) 브랜치‑앤‑바운드 알고리즘에 ˆD∗를 바운딩 기준(Q∗)으로 제공해 탐색 공간을 효율적으로 축소한다. 브랜치‑앤‑바운드는 현재 최적점보다 낮은 상한을 가진 부분집합을 조기에 제외함으로써, 완전 탐색의 계산량을 크게 줄인다.

실험에서는 (i) 가우시안·비선형 함수·노이즈가 섞인 합성 데이터에서 TCMI가 진짜 관련 변수를 정확히 복원하고, (ii) UCI·KEEL 등 공개 데이터셋에서 기존 측도 대비 높은 정밀도·재현율을 기록했으며, (iii) 재료 과학 사례(에너지·구조 변수와 물성 예측)에서 TCMI가 선택한 소수의 물리적 의미 있는 변수들로도 선형·비선형 회귀 모델의 예측 성능을 크게 향상시켰다. 특히 표본 수가 적을 때도 안정적인 순위가 유지돼, 실험 데이터가 제한적인 과학 분야에 적합함을 보여준다.

요약하면, TCMI는 (1) 누적 확률분포 기반 비모수 추정, (2) 표본·카디널리티 보정, (3) 결정론적·재현 가능한 점수, (4) 브랜치‑앤‑바운드와의 자연스러운 결합이라는 네 가지 강점을 통해 연속형 다변량 데이터의 특징 선택 문제를 효과적으로 해결한다는 점에서 큰 의의를 가진다.