고차원 부분노이즈 데이터에서 가우시안 커널 행렬의 비대칭 특성 및 저랭크 추정법

초록

본 논문은 고차원에서 부분적으로 섞인 노이즈를 가진 데이터에 대해 가우시안 커널 행렬의 스펙트럼을 비대칭적으로 분석한다. 기존 카루이(Karoui)의 결과를 확장하여, 고유벡터는 일관성을 유지하지만 고유값은 불일치함을 보이고, 저랭크 상황에서는 가장 작은 고유값을 이용한 새로운 추정기를 제시한다. 제안 방법은 제한된 저랭크 행렬 근사와 결합해 부분노이즈 모델에서도 강한 일관성을 확보한다.

상세 분석

본 연구는 고차원(d→∞)에서 관측 벡터 x_i = s_i + ξ_i (i=1,…,n)를 가정하고, 신호 s_i와 잡음 ξ_i에 대해 각각 별도의 정규화 조건을 부과한다. Assumption 1은 신호들의 내적이 d에 대해 비례적으로 수렴하고, ‖s_i‖²/d가 양의 유한값을 갖는다는 전제이며, 이는 L² 함수의 이산 근사와 일치한다. Assumption 2는 잡음의 제곱노름이 일정한 한계 σ̄²로 수렴하고, 서로 다른 잡음 벡터 간 내적 및 신호와 잡음 간 내적이 d에 대해 0으로 수렴함을 요구한다. 이는 i.i.d. 잡음 성분에 대한 강법칙(SLLN)으로 충분히 보장된다.

스케일 파라미터 c_d에 대해 Assumption 3은 d⁻¹c_d → γ>0을 가정한다. 이때 가우시안 커널 K(x₁,…,x_n){ij}=exp(−‖x_i−x_j‖²/(c_d d))는 두 부분으로 분해된다. Lemma 1에 따르면 잡음 전용 커널 K(ξ₁,…,ξ_n){ij} (i≠j)는 확률적으로 exp(−2γ⁻¹σ̄²)에 수렴하고, 전체 커널은 K(s₁,…,s_n)와 Hadamard 곱을 이루며 동일한 상수 팩터가 곱해진 형태가 된다. Theorem 1은 이를 행렬식으로 정리해 K(x) = exp(−2γ⁻¹σ̄²)(K(s)−I)+I 로 수렴함을 보여준다.

이 결과는 고유값 λ_i와 µ_i 사이에 λ_i = exp(−2γ⁻¹σ̄²)·µ_i − exp(−2γ⁻¹σ̄²)+1 라는 선형 관계를 부여한다. 따라서 고유벡터는 K(s)와 K(x) 사이에서 일관성을 유지하지만, 고유값은 잡음에 의해 스케일링되고 편향된다(불일치). 특히 µ₁→0인 저랭크 상황(Assumption 4)에서는 λ₁이 1−exp(−2γ⁻¹σ̄²) 로 수렴한다.

저랭크 복원을 위해 저자들은 λ₁을 이용해 스케일 보정된 행렬 ĤK를 정의한다. 비대각 원소를 (1−λ₁)⁻¹·K(x)_{ij} 로 재조정하고, 대각 원소는 그대로 1로 유지한다. 이렇게 구성된 ĤK는 고차원 한계에서 K(s)의 저랭크 구조를 정확히 복원한다는 강한 일관성을 갖는다. 이 과정은 제한된 저랭크 행렬 근사(Constrained Low‑Rank Approximation)와 총 최소 제곱(TLS) 기법을 결합한 것으로, 기존의 단순 추정기가 일관성을 잃는 문제를 해결한다.

핵심 기여는 다음과 같다. (1) 카루이의 비대칭 스펙트럼 분석을 가우시안 커널에 특화하고, 부분노이즈 모델 하에서 명시적인 수렴식을 제공한다. (2) 고유값 불일치를 보정하기 위해 가장 작은 고유값을 활용한 새로운 추정기를 제안한다. (3) 제한된 저랭크 근사와 TLS 이론을 결합해, 저랭크 신호 행렬을 강하게 복원한다. 이론적 증명과 수치 실험을 통해 제안 방법이 기존 방법보다 높은 복원 정확도와 안정성을 보임을 확인한다.