입력 레이블 상관관계가 랜덤 피처의 비선형 전환을 좌우한다

초록

본 논문은 스파이크 공분산을 갖는 고차원 데이터에서 입력과 레이블 사이의 상관관계가 랜덤 피처 모델(RFM)의 선형·비선형 전환을 결정한다는 이론을 제시한다. 입력‑레이블 정렬도와 스파이크 강도에 따라 RFM이 효과적으로 선형 모델에 수렴하거나, 고차 다항식 형태의 비선형 이득을 얻는 경계선을 명시한다. 또한, 이 현상을 설명하는 보편성 정리와 노이즈 다항식 대체 모델을 도입하고, 시뮬레이션 및 실제 데이터 실험으로 검증한다.

상세 분석

본 연구는 고차원 비례 스케일링(m, n, k → ∞, n/m, n/k ∈ (0,∞)) 하에서, 입력 데이터가 스파이크 공분산 Σ = Iₙ + θ γγᵀ 형태를 가질 때 랜덤 피처 모델(RFM)의 일반화 오차를 정확히 분석한다. 핵심 변수 η는 입력‑레이블 정렬도 α = γᵀξ와 스파이크 크기 θ, 그리고 랜덤 피처 행렬 F의 구조를 결합한 양이며, η = O(n⁻¹ᐟ²)이면 Hermite 전개에서 1차 항만 살아 남아 RFM은 기존의 “노이즈 선형 모델”(ωᵀ(μ₀1 + μ₁Fx + μ* z))과 동등하게 동작한다. η가 이보다 크게 성장하면 2차·3차 이상의 Hermite 계수가 억제되지 않아 다항식 차수가 증가하고, 이는 실제 비선형 이득으로 이어진다. 논문은 이를 정량화하기 위해 두 단계의 기법을 사용한다. 첫째, 스파이크 공분산 하에서 활성화 함수가 저차 모멘트(μ₀, μ₁, μ*)만 동일하면 RFM의 성능이 동일하다는 보편성 정리를 Lindeberg 교체와 고차 모멘트 제어를 통해 증명한다. 둘째, 이 보편성을 이용해 임의의 활성화 σ를 해당 저차 모멘트를 갖는 다항식 σ̃로 대체하고, 그 다항식의 차수가 η에 의해 결정되는 “노이즈 다항식 모델”(fₚ(x)=∑_{ℓ≤d}c_ℓ H_ℓ(Fx))과 동등함을 보인다. 여기서 H_ℓ는 ℓ차 Hermite 다항식이며, d는 η가 n⁻¹ᐟ²보다 큰 경우에만 증가한다. 결과적으로 (α, θ) 평면에 명시적인 경계곡선 η ≈ n⁻¹ᐟ²가 존재함을 보여준다. 경계 아래에서는 RFM이 선형 대체 모델에 수렴해 강력한 리지 회귀보다 열등할 수 있고, 경계 위에서는 고차 항이 살아 남아 비선형 이득을 제공한다. 실험에서는 α = O(1/√n)·θ = n¹ᐟ²인 경우 선형 영역을, α = 1·θ = n¹ᐟ²인 경우 비선형 영역을 재현했으며, CIFAR‑10 등 실제 데이터에서도 동일한 전이 현상이 관찰되었다.