“GSIR(Generalized Sliced Inverse Regression)의 수렴 속도, n⁻¹⁄³에 한 걸음 더 가까워지다!”

📝 Abstract

Generalized Sliced Inverse Regression (GSIR) is one of the most important methods for nonlinear sufficient dimension reduction. As shown in Li and Song (2017), it enjoys a convergence rate that is independent of the dimension of the predictor, thus avoiding the curse of dimensionality. In this paper we establish an improved convergence rate of GSIR under additional mild eigenvalue decay rate and smoothness conditions. Our convergence rate can be made arbitrarily close to $n^{-1/3}$ under appropriate decay rate and smoothness parameters. As a comparison, the rate of Li and Song (2017) is $n^{-1/4}$ under the best conditions. This improvement is significant because, for example, in a semiparametric estimation problem involving an infinite-dimensional nuisance parameter, the convergence rate of the estimator of the nuisance parameter is often required to be faster than $n^{-1/4}$ to guarantee desired semiparametric properties such as asymptotic efficiency. This can be achieved by the improved convergence rate, but not by the original rate. The sharpened convergence rate can also be established for GSIR in more general settings, such as functional sufficient dimension reduction.

💡 Analysis

**

1. 연구 배경 및 동기

• **충분 차원 축소(SDR)**는 고차원 예측변수 $X\in\mathbb{R}^p$ 를 저차원 표현 $B^\top X$ (또는 비선형 변환 $f_1(X),\dots,f_d(X) $) 로 압축하면서 반응 $Y$ 와의 모든 정보를 보존한다.
• 기존 선형 SDR (SIR, SAVE 등)은 $p$ 가 커질수록 차원의 저주에 취약했다.
• GSIR은 RKHS 기반 비선형 변환을 이용해 차원의 저주를 회피하고, Li & Song (2017) 에서 $n^{-1/4}$ 의 차원‑독립 수렴 속도를 제시했지만, 반정규 파라미터가 $n^{-1/4}$ 보다 빠른 수렴을 요구하는 많은 반정규 모델에선 충분하지 않았다.

2. 주요 가정 및 기술적 기여

• Assumption A는 Sang & Li (2026) 의 함수‑대‑함수 회귀 분석에서 차용했으며, 고유값 감쇠가 빠를수록 정규화 편향이 작아진다.
• Assumption B는 기존 $β$ 파라미터와 동일하지만, 여기서는 정규화 파라미터와 결합해 최적 $\varepsilon_n$ 를 도출한다.

3. 수렴 속도 증명 개요

1. 연산자 분해
   \

📄 Content

회귀 문제에서 고차원 예측 변수들을 다룰 때, 충분 차원 축소(Sufficient Dimension Reduction, SDR)는 반응을 예측하는 데 유용한 모든 정보를 보존하면서 예측 변수의 저차원 표현을 찾는 강력한 프레임워크를 제공합니다.
SDR의 이론적 기반은 충분성(sufficiency) 개념에 기반합니다. 충분성은 예측 변수들의 특정 함수들이 반응에 대한 모든 정보를 포착한다는 가정을 의미합니다. 따라서 나머지 예측 변수들은 정보를 손실 없이 무시할 수 있습니다. SDR은 예측 변수들을 저차원으로 시각화할 수 있게 해 주고, 정보를 잃지 않으면서 데이터를 요약하며, 차원의 저주(curse of dimensionality)를 완화함으로써 예측 정확도를 향상시킵니다.

1. 고전적 선형 SDR

고전적인 선형 SDR은 차원 (d<p)인 행렬 (\mathbf B\in\mathbb R^{p\times d})가 존재하여

[ Y;\perp!!!\perp;X\mid \mathbf B^{\top}X \tag{1} ]

을 만족한다는 가정에 기반합니다. 위 관계가 성립한다면, 저차원 표현 (\mathbf B^{\top}X)는 (Y)에 대한 충분 예측자(sufficient predictor) 가 됩니다. 왜냐하면 (Y)의 조건부 분포는 오직 (\mathbf B^{\top}X)에 의해 완전히 결정되기 때문입니다.

행렬 (\mathbf B)는 **우변 가역 변환(invertible right transformation)**에 대해서만 식별 가능하므로, 실제로 추정해야 할 식별 가능한 파라미터는 (\mathbf B)의 열공간, 즉 (\operatorname{span}(\mathbf B))입니다.
모든 (1)을 만족하는 (\mathbf B)들의 열공간들의 교집합을 중심 공간(central space) (\mathcal S_{Y\mid X})라 부르며, 이는 선형 SDR에서 추정하고자 하는 목표입니다. 이 개념은 Li(1991)가 처음 제안했으며, 이후 Li(2018b), Ma & Zhu(2013) 등에서 자세히 다루었습니다.

대표적인 선형 SDR 방법으로는 다음이 있습니다.

2. 조건부 평균을 위한 SDR

조건부 평균에 초점을 맞춘 SDR은 다음과 같은 가정을 합니다.

[ Y;\perp!!!\perp;X\mid \mathbf B^{\top}X ,\qquad d<p \tag{2} ]

이는 Cook & Li(2002, 2004)에서 제안되었습니다. (2)는 (1)보다 약한 조건이므로, 보다 일반적인 회귀 상황에 적용할 수 있습니다. 여기서 목표는 중심 평균 공간(central mean space) (\mathcal S_{E(Y\mid X)})를 추정하는 것이며, 이는 (2)를 만족하는 모든 (\mathbf B)의 열공간들의 교집합으로 정의됩니다.

중심 평균 공간을 추정하는 방법으로는 다음이 대표적입니다.

• 일반 최소제곱(OLS) – Li & Duan (1989)
• Principal Hessian Directions (PHD) – Li (1992)
• Iterative Hessian Transformation (IHT) – Cook & Li (2002, 2004)
• Outer Product Gradient (OPG) – Xia et al. (2002)
• Minimum Average Variance Estimation (MAVE) – Xia et al. (2002)

3. 비선형 SDR 및 RKHS 프레임워크

선형 SDR을 넘어, 비선형 SDR에서는 (\mathbf B^{\top}X) 대신 비선형 함수들의 집합을 사용합니다. 주요 연구로는 Wu(2008), Wang(2008), Yeh et al.(2009), Li et al.(2011), Lee et al.(2013), Li & Song(2017) 등이 있습니다. 여기서는 Li(2018b)에서 제시한 재생 커널 힐베르트 공간(Reproducing Kernel Hilbert Space, RKHS) 프레임워크를 채택합니다.

다음과 같은 비선형 가정을 생각합니다.

[ Y;\perp!!!\perp;X\mid f_{1}(X),\dots ,f_{d}(X),\qquad d<p \tag{3} ]

여기서 (f_{1},\dots ,f_{d}:\mathbb R^{p}\to\mathbb R)은 RKHS에 속하는 함수들입니다. (3)에서 함수들은 식별 가능하지 않으며, ((f_{1}(X),\dots ,f_{d}(X)))에 대한 일대일 변환을 적용해도 동일한 독립성 관계가 유지됩니다. 따라서 실제로 식별 가능한 객체는 시그마 필드 (\sigma{f_{1}(X),\dots ,f_{d}(X)})이며, 비선형 SDR의 목표는 이 시그마 필드 자체 혹은 이를 생성하는 함수 집합을 복원하는 것입니다.

비선형 SDR(3)을 해결하기 위한 두 가지 주요 접근법이 개발되었습니다.

1. RKHS 기반 방법 – Li et al.(2011), Lee et al.(2013), Li & Song(2017) 등
2. 딥러닝 기반 방법 – Liang et al.(2022), Sun & Li(2022), Chen et al.(2024), Tang & Li(2025), Xu et al.(2025)

RKHS 기반 방법 중 가장 널리 쓰이는 것은 **Generalized Sliced Inverse Regression (GSIR)**이며, 이는 Lee et al.(2013)에서 처음 제안되었습니다. GSIR은 예측 변수의 비선형 변환을 활용함으로써 선형 SDR보다 차원 축소 성능이 우수합니다. 실제로 그래프 모델(Li & Kim 2024), 신뢰도 분석(Yin & Du 2022), 분포형 데이터 회귀(Zhang et al. 2024) 등 다양한 분야에 적용되었습니다.

Li & Song(2017)은 GSIR을 함수형 버전인 f‑GSIR으로 확장했으며, 여기서는 (X)와 (Y)가 모두 힐베르트 공간에 속하는 랜덤 함수인 경우를 다룹니다.

4. GSIR의 수렴 속도와 새로운 개선

GSIR은 하위 비모수 회귀, 조건부 밀도 추정, 그래프 추정 등과 결합하여 사용될 때 수렴 속도(convergence rate) 가 중요한 역할을 합니다. 현재까지 알려진 유일한 수렴 속도는 Li & Song(2017)에서 제시된 다음 형태입니다.

[ |\widehat{\mathcal S}{\text{GSIR}}-\mathcal S| = O{p}\bigl(n^{-\beta/(2\beta+1)}\bigr) + O_{p}(\varepsilon_{n}) \tag{4} ]

여기서 (\beta>0)는 예측 변수와 반응 사이의 매끄러움(smoothness) 정도를 나타내는 상수이며, (\varepsilon_{n}\to0)는 티코노프 정규화(Tikhonov regularization) 파라미터입니다.

최근 Sang & Li(2026)의 연구에서 RKHS 환경에서 비선형 함수‑대‑함수 회귀에 대한 수렴 속도가 제시된 바 있습니다. 이를 바탕으로 우리는 공분산 연산자 (\Sigma_{XX})의 고유값 감소율에 대한 추가 가정을 도입합니다. 구체적으로, 고유값 (\lambda_{j})가 다항식 형태 (\lambda_{j}\asymp j^{-\alpha}) ((\alpha>1)) 로 감소한다는 가정입니다. 이 가정 하에 우리는 다음과 같은 향상된 수렴 속도를 얻습니다.

[ |\widehat{\mathcal S}{\text{GSIR}}-\mathcal S| = O{p}\bigl(n^{-\alpha\beta/(2\alpha\beta+1)}\bigr) + O_{p}(\varepsilon_{n}) \tag{5} ]

(\alpha>1)은 공분산 연산자의 고유값이 다항식 속도로 감소함을 의미합니다. (5)의 속도는 (\beta)와 (\alpha)의 모든 가능한 조합에 대해 (4)보다 항상 빠릅니다. 예를 들어, Li & Song(2017)에서는 (\beta\ge 1)일 때 최적의 (\varepsilon_{n}) 선택으로 (4)의 속도가 (n^{-1/4})가 됩니다. 반면, 본 논문에서는 (\beta\ge1)이고 (\alpha)를 충분히 크게 잡으면 (5)의 속도는 (n^{-1/3})에 임의로 가깝게 만들 수 있습니다.

이러한 개선은 반반모수(semiparametric) 추정 문제에서 특히 중요합니다. 많은 반반모수 추정에서는 보조 파라미터(nuisance parameters) 의 추정 속도가 (n^{-1/4})보다 빨라야, 관심 파라미터의 추정이 (n^{-1/2}) 속도 혹은 반반모수 효율성 한계(semiparametric efficiency bound)를 달성할 수 있습니다. 따라서 SDR이 무한 차원 보조 파라미터를 추정하는 과정에 포함될 때, Li & Song(2017)의 속도는 충분하지 않지만, 여기서 제시한 향상된 속도는 요구조건을 만족합니다.

5. 논문의 구성

본 논문의 나머지 부분은 다음과 같이 전개됩니다.

1. Section 2 – 비선형 충분 차원 축소 이론, 회귀 연산자

이 글은 AI가 자동 번역 및 요약한 내용입니다.