연속 변수 독립성 검정을 위한 최장 증가 부분수열 기반 비모수 테스트

초록

본 논문은 두 연속형 변수의 독립성을 검정하기 위해 순열의 최장 증가 부분수열(LIS) 길이를 통계량으로 사용하는 새로운 비모수 검정법을 제안한다. 독립 가정 하에서는 관측값을 순위화한 뒤 얻어지는 순열이 균등하게 분포한다는 사실을 이용해 LIS 길이의 정확한 분포를 이론적으로 도출하고, 여러 표본 크기에 대한 분포표를 제공한다. 또한 시뮬레이션을 통해 다양한 대안 가설에 대한 검정력(power)을 평가하고, 기존의 상관계수 기반 검정과 비교한다.

상세 분석

이 연구는 두 연속형 변수 X와 Y 사이의 독립성을 검정하기 위해 순열 이론과 조합론을 결합한 독창적인 접근법을 제시한다. 먼저, 각 표본 (Xi, Yi)를 X의 순위에 따라 정렬하고, 그에 대응하는 Y의 순위를 추출함으로써 (1,…,n) 순열을 만든다. 독립 가정 하에서는 Y의 순위가 X의 순위와 무관하므로, 이 순열은 모든 n! 가능한 순열 중 균등하게 선택된다고 볼 수 있다. 이러한 전제는 기존의 스피어만·케엔달 검정이 순위 상관에 의존하는 것과 달리, 순열 자체의 구조적 특성을 이용한다는 점에서 차별화된다.

통계량으로 선택된 최장 증가 부분수열(LIS)의 길이 L_n은 순열의 “정렬 정도”를 정량화한다. LIS 길이가 평균에 가까울수록 순열이 무작위에 가깝고, 반대로 평균보다 크게(또는 작게) 나오면 순열에 일정한 패턴이 존재한다는 의미이며, 이는 X와 Y 사이에 의존성이 있음을 시사한다. 논문은 Ulam의 문제와 관련된 기존 결과를 활용해 L_n의 정확한 확률분포를 구한다. 구체적으로, Robinson–Schensted–Knuth(RSK) 대응을 이용해 순열을 두 개의 표준 영표(Young tableau)로 변환하고, 첫 번째 표준 영표의 첫 행 길이가 바로 LIS 길이와 동일함을 이용한다. 이를 통해 각 n에 대해 P(L_n = k) 를 조합적 공식으로 표현하고, 동적 계획법을 사용해 실용적인 확률값을 계산한다.

통계적 절차는 다음과 같다. (1) 표본을 X 순위에 따라 정렬하고 Y 순위를 추출한다. (2) 해당 순열의 LIS 길이 L_n을 O(n log n) 알고리즘(예: Patience Sorting)으로 계산한다. (3) 사전에 계산된 정확 분포표를 이용해 관측된 L_n 값에 대한 p‑값을 구한다. 이때, 양측 검정을 위해 L_n이 기대값보다 크게 혹은 작게 나타나는 경우를 모두 고려한다.

시뮬레이션에서는 (i) 독립인 경우(공동분포가 곱형)와 (ii) 다양한 종속 구조(선형, 비선형, 모노톤, 비모노톤) 하에서 검정력을 비교한다. 특히, 비선형 종속성(예: Y = sin(πX) + ε)에서는 전통적인 피어슨 상관 검정이 낮은 검정력을 보이는 반면, LIS 기반 검정은 높은 검정력을 유지한다. 또한, 샘플 크기 n이 20~200 사이에서 정확 분포표를 사용했을 때 제1종 오류율이 명목 수준(α=0.05)과 일치함을 확인하였다.

한계점으로는 (1) 연속형 변수에만 적용 가능하다는 점과, (2) 표본 크기가 매우 커질 경우 정확 분포표를 사전 계산하는 비용이 급증한다는 점을 들 수 있다. 이를 보완하기 위해 저자들은 대용량 n에 대해 정규근사(Normal Approximation) 혹은 Monte‑Carlo 시뮬레이션 기반의 근사 p‑값을 제안한다. 또한, 다변량 확장 가능성에 대한 논의가 부족하여 향후 연구 과제로 남는다.

전반적으로, 이 논문은 순열의 구조적 특성을 활용한 독립성 검정이라는 새로운 패러다임을 제시하며, 특히 비선형·비모노톤 종속성을 탐지하는 데 강점을 보인다.