독립성 검정을 위한 표현 학습

초록

본 논문은 변분 상호정보량 추정기와 Hilbert‑Schmidt Independence Criterion(HSIC)을 활용해 독립성 검정의 통계적 파워를 극대화하는 두 가지 학습 프레임워크를 제안한다. 변분 MI 바운드(InfoNCE, NWJ 등)를 이용한 테스트와, 커널을 학습하는 HSIC 기반 테스트를 비교·연계하고, 각각에 대해 표본 분할과 퍼뮤테이션을 이용한 정확한 수준 제어를 보장한다. 최종적으로 최적화된 HSIC 테스트가 복잡하고 고차원적인 의존 구조를 탐지하는 데 가장 높은 파워를 보이며, 제안된 방법들의 실험적 유효성을 입증한다.

상세 분석

이 연구는 독립성 검정이라는 고전적인 통계 문제를 현대 딥러닝 기법과 결합하여 두 가지 주요 접근법을 제시한다. 첫 번째는 변분 상호정보량(MI) 하한을 추정하는 방법이다. InfoNCE, NWJ, DV 등 다양한 변분 바운드가 존재하며, 이들은 모두 f : X × Y → ℝ 형태의 스코어 함수를 딥 네트워크로 파라미터화한다. 학습 단계에서는 배치 전체를 이용해 ˆI_f를 최대화하고, 테스트 단계에서는 퍼뮤테이션을 통해 영가설(독립) 하의 분포를 추정한다. 중요한 점은 최종 검정 통계량이 f(x,y)의 평균값, 즉 Neural Dependency Statistic(NDS)이라는 단순 형태로 축소된다는 것이다. 따라서 변분 바운드 자체보다 NDS의 신호대잡음비(SNR)가 검정 파워를 결정한다.

두 번째 접근법은 HSIC와 커널 학습이다. HSIC는 두 변수의 RKHS 특징 맵 사이의 교차공분산을 측정하며, 적절한 커널 선택 시 영가설과 대립가설을 완전히 구분한다. 기존 연구에서는 미디언 히스토리와 같은 휴리스틱 커널 파라미터를 사용했지만, 이 논문은 검정 파워를 직접 최적화하는 목표 함수를 도입한다. 구체적으로, 표본 분할을 통해 학습된 커널(또는 깊은 커널)로부터 HSIC 통계량의 기대값과 분산을 추정하고, 이들의 비율을 최대화하도록 파라미터를 업데이트한다. 이 과정은 미분 가능하게 구현되며, 균등 수렴을 보장하는 이론적 근거도 제공한다.

두 방법 모두 퍼뮤테이션 테스트와 데이터 스플리팅을 결합해 유의 수준(α)을 정확히 제어한다. 특히, 변분 MI 기반 테스트는 NDS가 영가설 하에서 일정한 상수만큼 이동한다는 특성을 이용해 임계값을 간단히 계산할 수 있다. 반면, HSIC 기반 테스트는 검정 통계량 자체가 복잡한 커널 의존성을 가지므로, 검정 파워를 근사하는 비대칭식(신호대잡음비 기반)을 사용해 최적화한다.

실험에서는 고차원 가우시안 혼합, 구조적 의존(소위 “소수점 교환” 예시) 등 다양한 시나리오를 설정하였다. 결과는 HSIC‑D(학습된 깊은 커널) 방식이 특히 차원 수가 증가하거나 노이즈가 많은 경우에 강인한 파워를 보이며, 변분 MI 기반 NDS는 비교적 단순한 의존 구조에서는 경쟁력 있는 성능을 나타낸다. 또한, 기존 HSIC‑M(미디언 히스토리)와 MMD‑D(깊은 MMD)와 비교했을 때, 파워 최적화가 검정 효율을 크게 향상시킴을 확인했다.

이 논문은 변분 MI와 HSIC 사이의 이론적 연결고리를 명확히 밝히고, “통계량을 최대화하는 것이 아니라 검정 파워를 직접 최적화한다”는 새로운 설계 원칙을 제시한다. 이는 고차원·복합 데이터에서 기존 검정이 겪는 표본 효율성 문제를 해결하는 실질적인 길을 제공한다.