고차원에서 랜덤 투영을 이용한 보다 강력한 두 표본 평균 검정

본 논문은 고차원(two‑sample) 평균 검정 문제를 다루며, 차원이 표본보다 큰 상황(p≫n)에서 두 다변량 정규분포의 평균 차이를 검정하는 새로운 방법을 제안한다. 전통적인 Hotelling T² 검정은 공분산 행렬 Σ⁻¹이 필요하지만, p>n이면 샘플 공분산 \(\hat Σ\)가 특이해져 적용이 불가능하고, p≈n일 때도 검정력이 급격히 감소한다. 이를 보완하기 위해 기존 연구들은 \(\hat Σ\)를 대각선 추정치(Chen‑Qin, CQ)나 단순 스케일링(Bai‑Saranadasa, BS) 등으로 대체했지만, 변수 간 상관관계가 존재하거나 변동이 소수 변수에 집중될 경우 정보 손실이 크다. 논문은 이러한 한계를 무작위 투영(Random Projection, RP)이라는 차원 축소 기법으로 해결한다. 고차원 데이터 \(X_i, Y_j\in\mathbb R^p\)를 i.i.d. 표준 정규 엔트리를 갖는 행렬 \(P_k\in\mathbb R^{k\times p}\)에 곱해 \(\tilde X_i=P_k X_i,\ \tilde Y_j=P_k Y_j\) 로 변환한다. Johnson‑Lindenstrauss 보조정리에 따라, 투영 후에도 평균 차이 벡터 \(\delta=\mu_1-\mu_2\)의 길이(즉, KL 발산의 핵심인 \(\delta^\top Σ^{-1}\delta\))가 고확률로 보존된다. 중요한 점은 투영된 공분산 \(P_k\hat Σ P_k^\top\)가 k×k 차원에서 거의 확실히 비특이(invertible)하므로, Hotelling T² 통계량을 그대로 적용할 수 있다는 것이다. **이론적 결과** 1. **Asymptotic Power (정리 1)**: (p,n)→∞와 k/n→y∈(0,1)이라는 고차원 설정 하에, 투영된 검정 통계량 \(T_{2,k}\)는 비중심 F 분포를 따르고, 비중심 파라미터 \(\eta_k = \frac{n_1 n_2}{n_1+n_2}\,\delta^\top P_k^\top (P_k Σ P_k^\top)^{-1} P_k \delta\) 로 표현된다. 이를 이용해 asymptotic power 함수를 명시적으로 도출한다. 2. **Relative Efficiency (정리 2, 3)**: 기존 BS, CQ, SD 검정과 비교했을 때, 공분산 행렬에 강한 상관구조가 존재하거나 변동이 소수 차원에 집중될 경우 \(\eta_k\)가 다른 검정들의 비중심 파라미터보다 크게 되어 검정력이 우위에 있음을 충분조건 형태로 제시한다. 특히 Σ가 블록 대각 구조이거나 AR(1) 형태일 때, k≈n/2 로 잡으면 \(\eta_k\)가 \(\eta_{CQ},\eta_{SD}\)보다 최소 O(1) 정도 더 큰 값을 갖는다. 3. **Exact Level‑α 임계값**: p≤n인 경우 Hotelling T²의 F 분포 기반 임계값이 정확히 α 수준을 보장한다. 투영 후 차원이 k≤n이므로, 동일한 임계값을 그대로 사용할 수 있다. 비정규 데이터에 대해서도 경험적으로 임계값이 안정적임을 시뮬레이션으로 확인한다. **알고리즘** 1. k를 선택(보통 k=⌊n/2⌋)하고, i.i.d. N(0,1) 엔트리를 갖는 \(P_k\)를 생성한다. 2. 원 데이터에 투영해 \(\tilde X_i, \tilde Y_j\)를 얻는다. 3. 투영된 샘플의 평균과 공분산을 계산하고, Hotelling T² 통계량 \(T_{2,k}\)를 구한다. 4. 비중심 F 분포의 1‑α 분위수 \(t_α\)와 비교해 귀무가설을 기각/채택한다. **계산 복잡도** 투영 행렬 생성 O(kp), 투영 O(nkp), 공분산 및 Hotelling T² 계산 O(nk²)이며, k를 n/2 로 잡을 경우 전체 복잡도는 O(n²p)이다. 이는 고차원에서도 실용적인 수준이다. **실험** - **시뮬레이션**: p=500, n₁=n₂=30 등 p≫n 상황에서 대각, AR(1), 블록 상관 Σ를 사용하고, 신호 강도 δ를 다양하게 설정했다. ROC 곡선에서 RP 검정은 특히 블록 상관 및 신호가 소수 변수에 집중된 경우에 AUC가 0.85~0.92 로 다른 검정(0.70~0.78)보다 크게 향상되었다. - **비정규 혼합 모델**: 두 정규 혼합을 사용했을 때, 실제 제1종 오류가 명목 α와 거의 일치했으며, 검정력도 기존 검정보다 우수했다. - **실제 데이터**: 수천 개 유전자를 측정한 암 종류 구분 데이터(예: 유방암 vs. 난소암)에서 RP 검정은 허위 양성률이 0.03 수준으로 낮았으며, 동일 α에서 기존 BS, CQ, SD는 0.08~0.12 수준이었다. 이는 실제 연구에서 과도한 거짓 발견을 줄이는 데 기여한다. **결론 및 의의** 무작위 투영을 이용해 차원을 감소시키면서도 공분산 구조 정보를 보존함으로써, 기존 대각선 기반 고차원 평균 검정이 놓치는 정보를 회복한다. 정확한 α‑level 임계값을 제공하고, 계산 비용도 합리적이며, 다양한 공분산 구조와 비정규 상황에서도 견고한 성능을 보인다. 따라서 고차원 두 표본 평균 검정에 있어 실용적이고 강력한 새로운 대안으로 자리매김한다.