Copent: R에서 Copula Entropy와 Transfer Entropy를 손쉽게 추정하기

본 논문은 통계적 독립성·조건부 독립성(인과성) 측정을 위한 새로운 이론적 틀인 Copula Entropy(CE)와 Transfer Entropy(TE)를 실용적인 R 패키지 **copent**로 구현한 과정을 상세히 기술한다. 먼저 독립성 측정의 전통적 방법인 Pearson 상관계수와 Mutual Information(MI)의 한계를 짚으며, CE가 Sklar 정리를 기반으로 모든 다변량 분포를 마진과 copula 함수로 분해한 뒤 copula 밀도에 대한 엔트로피 형태로 정의된다는 점을 소개한다. CE는 MI와 부호가 반대인 관계 I(X)=−H_c(X) 를 만족해, MI를 직접 추정할 필요 없이 CE만으로 독립성을 평가할 수 있다. CE는 다변량 확장성, 비음성, 순위 변환 불변성, 가우시안 경우 Pearson 상관과 동등함 등 이상적인 특성을 갖는다. 조건부 독립성(인과성) 지표인 Transfer Entropy는 TE = I(x_{t+1}; y_t | x_t) 로 정의되며, 기존에는 비모수 추정이 어려운 문제였다. Ma(2019)는 TE를 세 개의 CE 조합으로 표현하는 식 T_{Y→X}=−H_c(x_{t+1},x_t,y_t)+H_c(x_{t+1},x_t)+H_c(y_t,x_t) 을 제시함으로써, TE를 CE만으로 추정할 수 있음을 보였다. 이는 TE 추정에 필요한 복잡한 확률 밀도 추정 과정을 크게 단순화한다. 비모수 추정 절차는 두 단계로 구성된다. 첫 단계에서는 각 변수에 대해 경험적 누적분포 F_i(x) 를 계산해 순위 기반 변환 u_i=F_i(x) 를 수행한다. 이는 데이터의 스케일이나 형태와 무관하게 copula 구조만을 보존하는 변환이며, 연속·이산·혼합형 데이터 모두에 적용 가능하다. 두 번째 단계에서는 k‑Nearest Neighbor(kNN) 엔트로피 추정법(Kraskov et al., 2004)을 이용해 CE를 계산한다. kNN은 각 샘플의 k번째 이웃까지의 거리 ρ_i 를 활용해 엔트로피를 추정하며, 거리 종류(최대노름·유클리드)를 선택할 수 있다. 이 방법은 고차원에서도 편향을 최소화하고, O(N log N) 복잡도로 대규모 데이터에 적합하다. R 패키지 **copent**는 위 과정을 함수화하였다. `construct_empirical_copula(x)`는 입력 데이터 x 에 대해 순위 통계 기반 경험적 copula를 반환한다. `entknn(x, k, dtype)`는 kNN 기반 엔트로피를 계산한다. `copent(x, k, dtype)`는 두 함수를 연계해 CE를 산출하는 메인 함수이며, `ci(x, y, z, k, dtype)`는 CE를 이용한 조건부 독립성 검정, `transent(x, y, lag, k, dtype)`는 TE를 추정한다. 사용자는 k값과 거리 유형을 자유롭게 지정할 수 있어, 데이터 특성에 맞는 튜닝이 가능하다. 패키지 구현상의 장점은 다음과 같다. 첫째, 순위 기반 변환으로 전처리 비용이 거의 없으며, 데이터 스케일링이나 정규화가 필요없다. 둘째, kNN 엔트로피 추정이 효율적이며, C++ 코드와 Rcpp를 통해 빠른 실행 속도를 제공한다. 셋째, 기존 독립성·조건부 독립성 패키지(energy, dHSIC, HHG, CondIndTests, cdcsis 등)와 비교했을 때 동일하거나 더 높은 검정 파워와 낮은 Type I 오류율을 보인다. 실험 부분에서는 세 가지 사례를 제시한다. (1) 시뮬레이션 데이터에서 알려진 독립·비독립 구조를 재현해 CE와 TE가 정확히 0·양의 값을 반환함을 확인하였다. (2) 실제 공기질 데이터(ozone, solar radiation, wind 등)를 이용해 변수 선택 예시를 보여준다. CE 기반 변수 중요도 순위는 기존 상관계수·MI 기반 방법보다 일관된 회귀·분류 성능을 제공하였다. (3) 기후 시계열 데이터에서 TE를 추정해 풍향이 오존 농도에 미치는 인과성을 발견했으며, 이는 CondIndTests와 cdcsis가 놓친 비선형 인과 관계를 포착한다는 점에서 의미가 있다. 논문은 또한 CE와 TE가 기존 커널 기반 독립성 검정(Gretton 등) 및 거리 상관 기반 검정(Székely 등)과 이론적으로는 유사하지만, CE는 copula 이론에 기반해 보다 엄밀한 정의와 직관적인 해석을 제공한다는 점을 강조한다. 특히 CE는 순위 변환에 불변이므로 비선형·비가우시안 관계에서도 강건하게 작동한다. 결론적으로 **copent**는 이론적 엄밀성(CE–MI 동등성, CE–TE 변환)과 실용적 효율성(kNN 기반 비모수 추정, R 친화적 인터페이스)을 동시에 만족하는 도구이다. 통계·머신러닝 연구자는 독립성 검정, 변수 선택, 인과 탐색 등 다양한 단계에서 기존 방법을 대체하거나 보완하는 강력한 패키지로 활용할 수 있다.