고차원 방사형 기저 함수 커널의 수치 계수 분석

초록

본 논문은 고차원 데이터에서 라디얼 베이시스 함수(RBF) 커널을 저차원으로 근사하는 방법을 제시하고, 지정된 정밀도 하에서 함수 계수가 차원에 대해 다항적으로 성장한다는 이론적 근거를 제공한다. 또한 L∞ 오차 경계와 특이값 군집 현상을 설명하며, 실험을 통해 이론을 검증한다.

상세 분석

논문은 먼저 “함수 계수(function rank)”라는 개념을 도입한다. 이는 커널 K(x,y)=f(‖x−y‖²) 를 유한개의 분리형 항 Σ_{i=1}^r g_i(x)h_i(y) 로 근사할 때 필요한 최소 항의 수를 의미한다. 행렬 계수와는 달리 함수 계수는 차원 d 에 대한 상한을 직접 분석할 수 있는 장점이 있다. 저자들은 RBF 커널이 분석적(analytic) 혹은 유한 차수의 매끄러움을 갖는 경우를 각각 가정하고, Chebyshev 다항식 전개와 Taylor 전개를 결합한 방법으로 f(z) 를 z=‖x−y‖² 에 대해 전개한다. 핵심은 전개 차수 n 이 고정되면, 전개 후 얻어지는 다항식의 총 차수가 2n 이며, 다변량 다항식 공간의 차원은 (n+d+2 choose d+2) 로 표현된다. 따라서 함수 계수 R(n,d) ≤ (n+d+2 choose d+2) 로, n 이 고정된 경우 R은 d 에 대해 다항적으로 증가한다. 이는 “차원 저주”가 완화된다는 강력한 결과이다.

오차 분석에서는 Bernstein 타원(Eρ) 을 이용해 전개 잔차를 엄격히 제한한다. Analytic Assumption 하에서는 |ε_n| ≤ 2 C_D ρ^{-2n} D ρ^{2D−1} 와 같은 지수적 감소를 보이며, 도메인 반경 D 가 작아질수록 ρ 가 커져 오차가 더욱 감소한다. Finite Smoothness 경우에는 변분적 경계(V_q) 를 이용해 O(n^{-q}) 형태의 폴리노미얼 감소를 얻는다.

또한 확률적 분석을 통해 x와 y 가 i.i.d. 로 고차원 구형(또는 하이퍼큐브) 안에 분포될 때, ‖x−y‖² 가 평균 E_d² 주변에 매우 좁은 구간에 집중한다는 concentration of measure 결과를 활용한다. 이 경우 전개 구간을