대규모 희소 그램 행렬의 스펙트럼 변동에 대한 위상 전이와 통합 CLT 프레임워크

초록

본 논문은 Bernoulli 마스킹을 통한 희소성 및 이분산 프로파일을 갖는 고차원 Gram 행렬 (S_n=Y_nY_n^{*}) 의 경험 스펙트럼 분포(ESD)와 선형 스펙트럼 통계(LSS)의 중심극한정리를 두 가지 희소성 구간(중간‑희소 (s\in(0,1]) 와 고희소 (s\to0))에서 연구한다. 두 구간 사이에 변동 구조가 급격히 바뀌는 위상 전이를 확인하고, 고희소 구간에서는 네 번째 모멘트가 변동을 지배함을 보인다. 또한 평균과 분산의 수렴 속도가 달라 표준 중심화가 실패하는 현상을 발견하고, 이를 보정한 새로운 중심화 방식으로 유효한 CLT를 제시한다. 결과는 가우시안·비가우시안 모두에 적용 가능하며, 대규모 MIMO 시스템의 가설 검정 및 아웃리케 확률 분석에 활용된다.

상세 분석

이 연구는 두 가지 핵심적인 확장성을 갖는다. 첫째, 행렬 원소가 이분산(heteroscedastic) 구조를 가지면서 동시에 Bernoulli 마스크에 의해 희소화되는 모델을 다룬다. 기존의 샘플 공분산 행렬 이론은 보통 동일분산 혹은 일정한 스케일링을 가정했으나, 여기서는 (\sigma_{ij}^{2}) 로 표현되는 변동 프로파일을 허용하고, 마스크 변수 (b_{ij}\sim\text{Bernoulli}(s)) 로 희소성을 파라미터 (s=q^{2}/n) 로 조절한다. (q)는 (n^{\phi}\le q\le n^{1/2}) 범위에서 다변량적으로 성장하므로, (s)는 고정값에서 0으로 수렴하는 두 스케일을 모두 포괄한다.

둘째, 두 스케일에 대해 일관된 방법론—해석적 스터틀리츠 변환, resolvent 기법, 그리고 마팅게일 차분(Martingale Difference) 접근—을 적용해 ESD의 거의 확실 수렴과 LSS의 CLT를 동시에 증명한다. 핵심은 시스템(3)에서 정의된 (t_i(z),\tilde t_j(z)) 를 통해 deterministic Stieltjes 변환 (m_{0n}(z)) 를 구하고, 실제 resolvent (Q_n(z)) 와의 차이가 (n\to\infty) 에서 0 으로 수렴함을 보이는 것이다. 이는 기존 비희소 모델(예: Bai‑Silverstein)에서 사용된 고정점 방정식과 구조적으로 동일하지만, 여기서는 희소성에 따른 4차 모멘트 항 (\tilde\nu_4 s) 가 추가되어 있다.

중간‑희소 구간((s) 고정)에서는 변동의 주요 기여가 ((\kappa+1) \operatorname{Tr}(A\Sigma_j B\Sigma_j)) 형태의 2차 모멘트와, ((\tilde\nu_4 s-\kappa-2)\operatorname{Tr}(A\circ B\circ\Sigma_j^2)) 형태의 4차 모멘트가 모두 나타난다. 여기서 (\kappa)는 실/복소 여부에 따라 1 또는 0이며, (\circ)는 원소곱을 의미한다.

반면 고희소 구간((s\to0))에서는 (\tilde\nu_4 s) 항이 사라지고, 변동은 순수하게 ((\kappa+1)) 항에 의해 지배된다. 즉, 네 번째 중심 모멘트가 변동을 완전히 결정한다는 의미이다. 이와 동시에 평균값 (\mathbb{E}L_n(f,S_n)) 와 분산 (\operatorname{Var}L_n(f,S_n)) 의 스케일이 서로 다른 속도로 (q) 에 의존한다. 구체적으로, 평균은 (\sqrt{p/q}) 정도로 발산하고, 분산은 (\sqrt{pq}) 로 정규화하면 (O(1)) 수준을 유지한다. 따라서 고희소 상황에서는 전통적인 “(\sqrt{n}) 중심화”가 실패하고, 논문은 평균 보정 항 (\Delta_n(f)=\sqrt{p/q},\int f,d\mu_{\text{bias}}) 를 명시적으로 제시해 정상적인 CLT를 회복한다.

기술적 증명에서는 8차 이상의 모멘트(8+ε) 존재를 가정해 Lindeberg‑type 조건을 만족시키고, Lemma 2.6을 통해 고차원 마팅게일 차분의 순간을 (q) 와 (n) 의 관계에 맞춰 제어한다. 또한 Lemma 2.7을 이용해 스펙트럼 노름 (|S_n|) 가 상수 수준으로 제한됨을 보임으로써 resolvent의 복소 평면 상에서의 유한성 확보한다.

응용 측면에서는 (i) 두 개의 대규모 대규모 페이딩 행렬 (L^{(1)},L^{(2)}) 가 동일한 분산 프로파일을 갖는지 검정하는 통계량을 LSS 형태로 구성하고, 위에서 도출한 보정된 CLT를 이용해 임계값을 설정한다. (ii) MIMO 채널의 상호 정보량 (C(\sigma^2)=\log\det(I+S_n/\sigma^2)) 를 LSS(특히 로그 함수)로 표현해, 아웃리케 확률 (P(C< R_{\text{target}})) 를 정규 근사로 계산한다. 두 경우 모두 희소성 파라미터 (q) 가 작을수록 변동이 크게 증가함을 수치 실험으로 확인한다.

요약하면, 이 논문은 희소성 및 이분산 구조를 동시에 포함하는 Gram 행렬의 스펙트럼 이론을 완성하고, 두 희소성 구간 사이의 위상 전이를 정확히 규명함으로써, 고희소 환경에서의 통계적 추론에 필수적인 평균 보정과 변동 분석을 제공한다.