안정적인 개별 시퀀스로부터 회귀 함수 추정

초록

우리는 확률적이 아닌 개별 시퀀스 ((x_1,y_1),(x_2,y_2),\dots \in \mathbb{R}\times\mathbb{R}) 로부터 단변량 회귀 추정을 연구한다. 이 시퀀스는 “안정(stable)”하다고 가정하는데, 이는 임의의 구간 (A\subseteq\mathbb{R}) 에 대해 (i) (x_1,x_2,\dots) 의 제한 상대 빈도가 알려지지 않은 확률분포 (\mu) 로 지배되고, (ii) (x_i\in A) 인 경우의 (y_i) 평균이 알려지지 않은 회귀함수 (m(\cdot)) 로 지배된다는 의미이다. 우리는 계산적으로 간단한 (m(\cdot)) 추정 방식을 제시하고, ({y_i}) 가 유계이며 구간 ((-i,i];(i\ge 1)) 에서 (m(\cdot)) 의 변동량에 대한 상한이 사전에 알려진 경우에 한해 이 추정기가 (L_2) 일관성을 갖는 것을 증명한다. 한편, 회귀함수의 변동량이 유한한 모든 안정 시퀀스(단, (x_i\in

상세 요약

이 논문은 전통적인 확률적 회귀 모델을 넘어, 완전히 비확률적인 데이터 흐름—즉, 각 관측값이 사전에 정해진 고정된 시퀀스—에 대한 추정 문제를 다룬다. “안정(stable)”이라는 개념은 두 가지 핵심적인 수렴 특성을 포함한다. 첫 번째는 입력값 (x_i) 들이 어떤 미지의 확률분포 (\mu) 에 의해 장기적인 상대 빈도를 결정한다는 것이며, 두 번째는 같은 구간에 속하는 입력값에 대응하는 출력값 (y_i) 들의 평균이 어떤 미지의 회귀함수 (m) 로 수렴한다는 점이다. 이러한 정의는 ergodic theory에서 사용되는 “시간 평균 = 공간 평균” 원리와 유사하지만, 여기서는 확률적 가정 없이도 동일한 수렴을 요구한다는 점에서 차별화된다.

논문이 제시하는 추정 스킴은 구간별 평균을 이용한 간단한 히스토그램 형태이며, 구간 폭을 점진적으로 세분화하면서 각 구간에 대한 (y) 평균을 계산한다. 핵심은 (m) 의 변동량이 구간 ((-i,i]) 에 대해 알려진 상한을 갖는 경우, 즉 (m) 이 제한된 총 변동량을 가지고 있다는 전제이다. 이 전제가 있으면, 구간을 충분히 작게 나눌수록 구간 내 평균이 실제 함수값에 근접함을 보일 수 있다. 저자는 이를 수학적으로 정형화하여, 추정값과 진짜 회귀함수 사이의 (L_2) 거리(즉, (\int ( \hat m_n(x)-m(x) )^2 d\mu(x)))가 (n\to\infty) 에서 0 으로 수렴함을 증명한다. 여기서 중요한 점은 (y_i) 가 유계라는 가정이다. 유계성은 평균값이 급격히 발산하는 상황을 방지하고, 변동량 제한과 결합해 수렴을 보장한다.

반면, 논문은 부정적인 결과도 제시한다. 회귀함수가 유한 변동량을 갖는 경우라 하더라도, 입력값이 (