동적 회귀 파라미터 학습의 유한 표본 분석

본 논문은 시간에 따라 변하는 입력 벡터 uₜ 를 갖는 동적 선형 회귀 문제를 선형 동적 시스템(LDS) 형태로 재구성한다. 상태 전이식 Xₜ₊₁ = Xₜ + hₜ와 관측식 Yₜ = ⟨Xₜ, uₜ⟩ + zₜ 에서, 프로세스 노이즈 hₜ와 관측 노이즈 zₜ는 각각 평균 0, 분산 σ²와 η²를 갖는 서브가우시안 변수이며, 좌표가 독립이다. 이 모델은 전통적인 정적 회귀와 달리 관측 연산자 uₜ가 매 시점마다 달라지는 비정상(non‑stationary) 특성을 지닌다. 문제 정의는 주어진 관측 시퀀스 {Yₜ}_{t=1}^T 와 입력 시퀀스 {uₜ}_{t=1}^T 을 이용해 σ²와 η²를 추정하는 것이다. 기존의 LDS 파라미터 추정 방법은 (i) 최대우도 추정(MLE) – 비볼록성으로 인해 전역 최적을 찾지 못할 위험이 있음, (ii) 서브스페이스 식별 – 관측 연산자가 고정된 경우에만 적용 가능, (iii) 자동상관 기반 방법 – 균일 관측 가능성 가정과 가우시안 노이즈 가정에 의존 – 등으로 인해 본 문제에 직접 적용하기 어렵다. 저자들은 먼저 모든 시퀀스를 하나의 큰 벡터로 결합하고, 누적 합 연산자 S 와 관측 연산자 O_u 를 정의한다. 이를 통해 시스템을 단일 벡터 방정식 Y = O_u S h + z 로 표현한다. 여기서 h 와 z 는 독립적인 서브가우시안 벡터이며, 각각의 좌표 분산이 σ²와 η²이다. 이 식을 그대로 이용해 |Y|² 의 기대값을 계산하면 E|Y|² = ‖O_u S‖_HS² σ² + T η² 이 된다. 그러나 O_u S 의 스펙트럼이 매우 편향돼 있어 가장 큰 특이값이 O(T) 정도이며, 전체 힐베르트‑슈미트 노름도 같은 차수를 갖는다. 결과적으로 |Y|² 의 편차가 상수 수준으로 커서 직접적인 분산 추정에 부적합함을 보인다. 이를 해결하기 위해 Moore‑Penrose 역연산자 R = (O_u S)⁺ 를 도입한다. 특이값 분해 O_u S = U Diag(γ₁,…,γ_T) W 에서 γ₁ ≥ … ≥ γ_T > 0이며, R 의 특이값은 χ_i = γ_{T+1‑i}^{‑1} 이다. 중요한 점은 ‖R‖_HS² = T 이며, 이는 O_u S 의 힐베르트‑슈미트 노름과는 달리 T에 비례한다는 것이다. R 을 양변에 적용하면 E|RY|² = σ² + ‖R‖_HS² η² = σ² + T η² 가 된다. 이때 |RY|² 의 편차는 Hanson‑Wright 부등식과 서브가우시안 벡터의 노름 집중성을 이용해 O(1/√T) 수준으로 고확률에 제한된다. 이러한 결과를 바탕으로 저자들은 두 개의 선형 방정식, 즉 1) |RY|² ≈ σ² + T η², 2) ‖R‖_HS² ≈ T, 을 동시에 만족하는 (σ̂², η̂²) 쌍을 구한다. 구체적인 알고리즘은 STVE(Spectrum Thresholding Variance Estimator)라 명명되며, 주요 단계는 다음과 같다. - O_u S 의 특이값을 계산하고, 작은 특이값을 임계값 τ (≈ log T 스케일) 이하로 잘라낸다. - 잘라낸 특이값의 역수로 구성된 R 을 만든다. - R 을 관측 벡터 Y 에 적용해 |RY|² 을 구하고, 위의 두 방정식을 풀어 σ̂²와 η̂²를 추정한다. 이론적 분석에서는 (i) ‖R‖_HS² ≥ c·log² T (정수 c) 임을 보이며, (ii) |σ̂² − σ²|, |η̂² − η²| ≤ C/√T (고확률) 임을 증명한다. 여기서 C 는 입력 시퀀스 {uₜ} 의 스펙트럼 형태에만 의존하는 절대 상수이며, 노이즈는 서브가우시안이면 충분히 일반화된다. 실험 부분에서는 합성 데이터와 실제 전력 소비 예측 데이터를 사용한다. 합성 실험에서는 uₜ를 무작위 정규화된 벡터, 혹은 급격히 변하는 구조적 패턴으로 설정하고, σ²와 η²를 다양한 값으로 변동시켰다. STVE는 평균 제곱 오차(MSE)와 추정 편차 측면에서 기존 MLE, 자동상관 기반 방법보다 일관되게 우수했으며, 특히 표본 수 T 가 작을 때도 안정적인 추정이 가능했다. 실제 데이터 실험에서는 온도와 전력 사용량 사이의 관계를 동적 회귀 모델로 설정하고, 학습된 σ̂²와 η̂²를 이용해 Kalman 필터 기반 예측을 수행하였다. 결과는 기존 방법 대비 예측 정확도가 5~10% 향상되었으며, 추정된 노이즈 분산이 실제 시스템의 변동성을 잘 반영함을 확인했다. 결론적으로, 본 논문은 (1) 비정상 동적 회귀 모델에 대한 최초의 유한 표본 복잡도 분석을 제공하고, (2) 시스템 연산자의 스펙트럼을 직접 활용한 새로운 분산 추정기 STVE를 제안했으며, (3) 서브가우시안 노이즈에 대한 일반성을 확보했다는 점에서 학술적·실용적 의의가 크다. 제안된 방법은 온라인 학습, 적응 제어, 시계열 예측 등 시간에 따라 입력이 변하는 다양한 분야에 바로 적용 가능하며, 향후 다변량 노이즈 구조나 비선형 확장에 대한 연구에도 기반이 될 것으로 기대된다.