비모수 순차 예측으로 시계열을 정복한다

** 본 논문은 비모수적인 방법으로 순차적인 시계열 예측을 수행하는 새로운 프레임워크를 제시한다. 전통적인 ARMA와 같은 파라메트릭 모델은 선형 가정과 고정된 차수 선택에 의존해 복잡한 비선형·비정상 패턴을 포착하기 어렵다. 이를 극복하고자 저자들은 “전문가(Expert) 집합”을 구성하고, 각 전문가가 서로 다른 비모수 추정법을 사용하도록 설계하였다. 전문가들은 히스토그램 기반, 커널 기반, 최근접 이웃 기반, 일반화 선형 회귀 기반 네 종류로 나뉘며, 각각은 과거 관측값과 외생 변수의 패턴을 다른 방식으로 요약한다. **1. 문제 정의와 목표** 시계열 {Yₙ}와 외생 변수 {Xₙ}가 jointly stationary하고 ergodic하다고 가정한다. 예측자는 매 시점 n에서 과거 (X₁,…,Xₙ, Y₁,…,Yₙ₋₁) 를 이용해 Yₙ을 추정한다. 목표는 정규화 누적 제곱오차 Lₙ(g)= (1/n)∑ₜ(gₜ−Yₜ)² 를 최소화하는 것이며, 이때 달성 가능한 최적 하한 L*는 모든 가능한 예측기의 평균 제곱오차 하한이다. **2. 전문가 결합 메커니즘** 각 전문가 h_{k,ℓ}는 고유한 파라미터 (k,ℓ) 로 정의된다. k는 과거 관측 길이, ℓ는 추정 정밀도를 제어한다. 초기 확률 분포 q_{k,ℓ}>0 를 설정하고, 시간에 따라 누적 손실 L_{n−1}(h_{k,ℓ}) 에 기반해 지수 가중치 w_{k,ℓ,n}=q_{k,ℓ}·exp(−ηₙ·(n−1)L_{n−1}(h_{k,ℓ})) 를 부여한다. ηₙ=1/√n 로 선택하면 가중치가 손실이 작은 전문가에게 빠르게 집중되면서도 탐색을 유지한다. 정규화된 확률 p_{k,ℓ,n}=w_{k,ℓ,n}/∑_{i,j}w_{i,j,n} 로 최종 예측값을 gₙ=∑_{k,ℓ} p_{k,ℓ,n}·h_{k,ℓ,n} 으로 정의한다. **3. 히스토그램 기반 전략** P_ℓ와 Q_ℓ 라는 이중 파티션을 사용해 (X,Y) 공간을 셀로 나눈다. 과거와 현재 관측이 같은 셀에 속하면 해당 셀에 포함된 Y값들의 평균을 예측값으로 사용한다. 파티션이 중첩되고 ℓ→∞ 로 갈수록 셀 크기가 0에 수렴하도록 설계하면, 비편향 추정이 보장된다. 정리 2.1 은 이 방법이 4차 모멘트가 유한한 모든 정상·에르고딕 시계열에 대해 보편적 일관성을 갖는다고 증명한다. **4. 커널 기반 전략** 히스토그램의 경계 문제를 완화하기 위해, 반경 r_{k,ℓ}, r'_{k,ℓ} 가 ℓ→∞ 에서 0 으로 수렴하도록 설정하고, K(·) 라는 양의 커널 함수를 적용한다. 이동창(Uniform kernel)뿐 아니라 가우시안, Epanechnikov 등 다양한 커널을 사용할 수 있다. 예측값은 h_{k,ℓ,n}=T_{min(nδ,ℓ)}·(∑_{t∈J(k,ℓ,n)} K(‖X_t−X_n‖/r_{k,ℓ})·K(‖Y_{t−1}−Y_{n−1}‖/r'_{k,ℓ})·Y_t) / (∑_{t∈J(k,ℓ,n)} K·K) 으로 정의된다. 정리 2.2 는 동일한 ηₙ 스케줄 하에 보편적 일관성을 보장한다. **5. 최근접 이웃(NN) 기반 전략** ℓ에 따라 최근접 이웃 수 p_ℓ·n 을 정하고, (X_{n−k},Y_{n−k−1}) 와 가장 가까운 p_ℓ·n 개의 과거 관측을 찾는다. 그들의 Y값 평균을 예측값으로 사용한다. 이 방식은 데이터 밀도에 자동 적응하고, 파라미터 선택에 대한 민감도가 낮다. 정리 2.3 은 연속적인 분포 가정 하에 보편적 일관성을 증명한다. **6. 일반화 선형 전략** φ_{k,j} 라는 함수 집합을 이용해 (X,Y) 의 비선형 변환을 만든 뒤, 선형 결합 형태의 예측기를 만든다. 이는 특히 가우시안 정상·에르고딕 과정에 대해 간단히 구현 가능하며, 기존 전문가 결합 프레임워크와 동일하게 가중 평균한다. **7. 이론적 증명 개요** 핵심은 전문가별 손실 L_{n−1}(h_{k,ℓ}) 가 마르코프 부등식과 ergodic 정리를 이용해 L*에 수렴한다는 점이다. 지수 가중 평균은 라그랑주 승수 형태로 최적화 문제를 풀어 손실이 작은 전문가에게 가중치를 집중시킨다. 각 전문가가 독립적으로 일관성을 갖는 경우, 가중 평균 역시 일관성을 유지한다는 “전문가 결합 정리”를 적용한다. **8. 실험 및 결과** 다섯 개 실제 데이터셋(전력 소비, 대기오염, 주식 가격, 기후 지표, 의료 신호)을 사용해 제안된 네 전략을 ARMA(p,q)와 비교했다. 모든 경우에서 정규화 누적 제곱오차가 평균 12%~25% 감소했으며, 특히 비선형 패턴이 강한 데이터에서 커널·NN 전략이 큰 이점을 보였다. 계산 복잡도는 히스토그램·커널이 O(n·log n) 수준으로, ARMA의 최대우도 추정보다 2~3배 빠른 것으로 보고되었다. **9. 결론** 논문은 “전문가 가중 평균”이라는 일반화 가능한 프레임워크를 제시하고, 히스토그램·커널·최근접 이웃·일반화 선형 네 가지 구체적 구현을 통해 최소 가정(정상·에르고딕·4차 모멘트) 하에서 보편적 일관성을 증명한다. 이론적 엄밀함과 실험적 우수성을 동시에 갖춘 비모수 순차 예측 방법은 기존 파라메트릭 모델을 대체하거나 보완하는 강력한 도구가 될 것이다. **