비선형 가법 회귀와 다차원 백색소음 모델의 대수적 동등성

초록

본 논문은 다변량 가법 회귀 모델을 고전적인 가우시안 백색소음 실험과 Le Cam 의미에서 점근적으로 동등함을 증명한다. 차원 d가 표본 크기 n에 비해 완만히 증가해도 성립하며, 공분산 구조는 설계 변수의 1·2차 주변분포만을 통해 정의되는 유계 선형 연산자 Γ에 의해 결정된다. 독립 설계 변수인 경우 Γ는 각 성분별 독립 백색소음으로 분해되고, 반정밀 프레임워크에서는 Γ가 곱 연산자로 근사됨을 보인다.

상세 분석

이 연구는 비모수 가법 회귀 (Y_j=g(X_j)+\varepsilon_j,; g(x)=\sum_{\ell=1}^d g_\ell(x_\ell)) 에 대해 Le Cam 거리의 관점에서 “점근적 동등성(asymptotic equivalence)”을 확립한다는 점에서 이론적·방법론적 의미가 크다. 기존의 비모수 회귀에 대한 백색소음 등가성 결과는 주로 1차원 혹은 고정 차원 (d) 에 한정되었으며, 차원 증가에 대한 제약이 강했다. 여기서는 차원 (d_n) 가 (n)에 비해 “적당히” 증가하는 경우, 즉 (d_n,n,K_n^{-2\beta}\to0) (여기서 (K_n) 은 베이시스 함수를 통한 스무딩 파라미터, (\beta) 는 각 (g_\ell) 의 Hölder 지수)라는 조건만 만족하면 동등성을 유지한다. 이는 차원 저주(curse of dimensionality)를 완화하면서도 가법 구조를 충분히 활용한다는 점에서 혁신적이다.

핵심 기술은 다음과 같다. 첫 단계에서 원본 실험 (A_n) 을 유한 차원 스펙트럼 공간 (\Phi_n) (직교 베이시스 (\psi_{n,j}) 로 구성) 위에 투사한 (B_n) 으로 근사한다. 이때 (\Phi_n) 의 차원은 (K_n^* = 1+d(K_n-1)) 이며, 베이시스 선택에 따라 (\sum_j\psi_{n,j}^2(x)) 가 (O(K_n^*)) 으로 제한된다. 베이시스 투사 오차는 Hölder 연속성에 의해 (O(d,K_n^{-2\beta})) 로 제어되고, 이는 (2.2) 조건을 통해 Le Cam 거리의 소멸을 보장한다.

다음으로 충분통계량을 이용해 (B_n) 을 (C_n) 으로 축소한다. 여기서는 설계 변수와 베이시스 함수의 내적 (Z_n = n^{-1}\sum_j Y_j\psi_{n,k}(X_j)) 가 충분통계량임을 Neyman‑Fisher‑Lemma으로 확인한다. 이후 공분산 행렬 (cM_n = (\langle\psi_{n,k},\psi_{n,k’}\rangle_{X,n})) 을 고유분해하여 정규화하고, 평균 (cM_n^{1/2}G_n) 와 잡음 (\sigma\sqrt{n},\eta_n) (표준 정규)으로 구성된 (D_n) 으로 변환한다. 여기서 (G_n) 은 실제 파라미터 (\tilde g) 의 베이시스 계수 벡터이다.

핵심적인 “지역화(localization)” 단계에서는 표본을 절반씩 나누어 각각 독립적인 (A_{n,1},A_{n,2}) 에 대해 동일한 변환을 수행한다. 이렇게 하면 (cM_n) 의 기대값이 단위 행렬이므로, 실제 관측값을 (I_{K_n^*}) 로 대체해도 Le Cam 거리가 무시할 수준으로 작아진다. 최종적으로 얻어지는 백색소음 실험은
\