다변량 가설 검정을 위한 파이썬 패키지 hyppo

본 논문은 다변량 데이터의 관계를 검정하기 위한 통계적 도구가 파이썬 환경에서 부족한 현실을 인식하고, 이를 해결하기 위해 hyppo라는 종합적인 가설 검정 패키지를 소개한다. 서론에서는 고차원·비선형 의존성을 탐지하기 위한 기존 방법들—Pearson 상관, distance correlation, Hilbert‑Schmidt Independence Criterion, Multiscale Graph Correlation 등—을 리뷰하고, 이러한 방법들의 R 구현은 존재하지만 파이썬에서는 일관된 인터페이스가 부재함을 지적한다. 패키지 설계는 scikit‑learn의 API를 모델링하여, 각 검정을 `fit`·`test` 메서드가 있는 클래스로 구현한다. 사용자는 데이터 행렬을 전달해 객체를 생성하고, `test` 호출만으로 검정 통계량과 p‑값을 얻을 수 있다. 내부적으로는 permutation test를 기본으로 하며, joblib을 이용한 멀티코어 병렬화와 numba JIT 컴파일을 통해 연산 속도를 크게 향상시켰다. 또한, 검정 통계량을 캐시하고 재사용함으로써 동일 데이터에 대한 반복 검정을 효율적으로 수행한다. 포함된 검정 목록은 매우 포괄적이다. 선형 관계를 위한 RV, Canonical Correlation Analysis와 같은 전통적 방법부터, 거리 기반 독립성 검정인 Dcorr(biased, unbiased, fast variants), HSIC(및 chi‑square 변형), MGC, HHG, dHSIC 등 최신 비선형 검정까지 아우른다. 두 표본·k‑표본 검정으로는 Energy, MMD, DISCO, Friedman‑Rafsky, MANOVA, Hotelling’s T², 그리고 최근 제안된 k‑sample을 독립성 검정으로 변환하는 방법까지 구현하였다. 조건부 독립성 검정(Fast Conditional Independence Test, Kernel Conditional Independence Test, Partial Dcorr, Conditional Dcorr)과 Stein discrepancy, discriminability, Ljung‑Box 등 특수 목적 검정도 제공한다. 특히, Kernel Mean Embedding Random Forest와 같은 새로운 알고리즘은 기존 오픈소스 구현이 없던 영역을 메워준다. 구조적으로 hyppo는 `independence`, `d_variate`, `ksample`, `discrim`, `kgof`, `time_series`, `tools` 모듈로 나뉘며, `tools`는 시뮬레이션, 전력 분석, 공통 유틸리티 함수를 포함한다. 각 검정은 동일한 인터페이스를 공유하므로, 사용자 정의 검정을 쉽게 추가할 수 있다. 벤치마크 실험에서는 R 패키지(energy, kernlab, HHG)와 비교해 wall‑time과 검정 통계량 정확도를 평가하였다. 표본 수를 50에서 10 000까지 변화시키며 1000번의 permutation을 수행했을 때, hyppo는 대부분의 검정에서 2배 이내의 실행 시간을 보였으며, Fast Dcorr는 가장 빠른 구현으로 0.1초 미만에 결과를 제공했다. 통계량 차이는 1e‑4 수준으로 거의 차이가 없었으며, 이는 JIT 최적화와 정확한 수치 구현 덕분임을 확인했다. 검증 단계에서는 동일한 시뮬레이션(spiral 데이터, 1000 샘플, 2 차원)에서 20번 반복해 hyppo와 R 구현의 검정 통계량을 비교했으며, 차이가 미미함을 다시 한 번 입증하였다. 결론에서는 hyppo가 다변량 가설 검정 분야에서 파이썬 사용자에게 강력하고 일관된 도구를 제공함을 강조하고, 앞으로 GPU 가속, 비유클리드 거리 지원, 스트리밍 데이터 처리, 베이지안 검정 등 기능 확장을 계획하고 있다. 또한, DARPA, NIH, NSF 등 다양한 연구기관의 지원을 받아 지속적인 개발과 커뮤니티 기여를 독려한다.