모멘텀 LMS 이론의 비정상성 극복: 안정성·추적·후회 분석

초록

본 논문은 시간에 따라 변하는 파라미터와 비정상적 입력을 갖는 선형 시스템에서 Momentum Least Mean Squares(MLMS) 알고리즘의 안정성, 추적 성능 및 동적 후회를 이론적으로 규명한다. 상태 확장을 통한 1차 랜덤 행렬 차이식으로 변환하고, 복합적인 랜덤 행렬 곱의 수렴성을 분석해 단계 크기 μ에 대한 충분조건을 제시한다. 실험은 합성 및 실제 데이터 스트림에서 MLMS가 기존 LMS·Adam 등보다 빠른 적응과 낮은 예측 오차를 보임을 확인한다.

상세 분석

본 연구는 비정상(stationarity) 환경에서 적응 필터링을 수행하는 데 있어, 기존 LMS가 1차 랜덤 벡터 차이식으로 분석되는 한계를 뛰어넘는다. MLMS는 모멘텀 항 β(θ̂_k−θ̂_{k−1})을 도입함으로써 두 개의 상태 변수를 필요로 하며, 이를 2차 차이식 → 1차 확장 상태공간 형태 Z_{k+1}= (I_0−\bar A_k) Z_k +