특이 공분산 추정의 새로운 랜덤 행렬 접근법

초록

데이터 샘플이 차원보다 적어 표본 공분산이 특이행렬이 되는 상황에서, 저자들은 Haar 측정에 따른 무작위 유니터리 변환을 이용해 차원을 축소한 뒤 역변환하고 평균을 취함으로써 비특이적인 공분산 및 그 역행렬의 추정량을 제시한다. 이 방법은 고유값 분해 형태의 닫힌식으로 구현 가능하며, 작은 샘플 크기에서도 안정적인 추정이 가능함을 보인다.

상세 분석

본 논문은 고차원 통계 분석에서 흔히 마주치는 “표본 수 N이 변수 차원 M보다 작아 표본 공분산 행렬 K가 특이(singular)해지는” 문제에 근본적인 해결책을 제시한다. 전통적인 방법은 정규화된 샘플 공분산을 그대로 사용하거나, 대각선에 작은 값을 더하는 ‘리짓’(ridge) 기법, 혹은 주성분 분석(PCA)으로 차원을 축소하는 방식이지만, 이들 모두 근본적인 차원 부족을 해소하지 못한다. 저자들은 무작위 유니터리 행렬 Φ∈ℂ^{L×M} (1≤L≤N) 를 Haar 측정에 따라 샘플링하고, K를 Φ와 Φ†(켤레 전치)로 전·후곱해 L×L 차원의 ‘축소 공분산’ K̃=ΦKΦ†를 만든다. K̃는 L≤N이므로 거의 확실히 비특이이며, 여기서 두 가지 추정량을 정의한다. 첫 번째는 cov_L(K)=E_Φ