로그 적응형 후회와 선형 MMSE 필터링 통합

초록

본 논문은 실시간으로 관측되는 잡음이 섞인 실신호를 선형 필터로 추정하는 문제를 다룬다. 제안된 알고리즘은 최적 오프라인 필터와 비교했을 때 구간별(Adaptive) 후회를 로그 수준으로 제한하며, 필터 차원 d에 대해 선형 시간 복잡도를 달성한다. 이는 기존의 이차 시간 알고리즘보다 효율적이며, Moon‑Weissman이 제기한 열린 질문에 대한 해답을 제공한다.

상세 분석

논문은 먼저 온라인 컨벡스 최적화(OCO) 프레임워크를 신호 추정 문제에 매핑한다. 관측값 yₜ = xₜ + nₜ(제 0 평균, 고정 분산 σ²) 에 대해, 필터 wₜ∈ℝᵈ를 선택하고 예측값 ŷₜ = wₜᵀYₜ (Yₜ는 최근 d개의 y값을 모은 벡터) 로 정의한다. 손실은 평균제곱오차 lₜ(w) = (xₜ – wᵀYₜ)² 로, 실제 신호 xₜ는 알고리즘에 노출되지 않는다. 대신 알고리즘은 추정 손실 ˆlₜ(w) = (yₜ – wᵀYₜ)² + 2wᵀc (c = (σ²,0,…,0)) 를 사용한다. 중요한 등식 (1)은 ˆlₜ와 lₜ 사이의 기대값 차이가 동일함을 보이며, 따라서 ˆlₜ에 대해 OCO 알고리즘을 적용하면 실제 손실에 대한 기대 후회를 최소화할 수 있음을 의미한다.

그러나 ˆlₜ는 일반적으로 강한 볼록성(strong‑convex)이나 exp‑concave 성질을 갖지 않는다. 이를 해결하기 위해 저자는 k‑블록(길이 k≥d) 단위로 손실을 누적하고 정규화 항을 추가한 새로운 손실 L_{k,t}(w) = Σ_{τ=t−k+1}^{t} ˆl_τ(w) + (w−w_t)ᵀ((k−d+1)σ²I – Σ_{τ=t−k+d}^{t} Y_τY_τᵀ)(w−w_t) 를 정의한다. 이 함수는 Hessian이 2(k−d+1)σ²I 이상이므로 2(k−d+1)σ²‑strong‑convex가 된다. 따라서 기존의 로그‑후회 알고리즘(예: Hazan‑Agarwal‑Kale 2007) 을 그대로 적용할 수 있다.

알고리즘 1(GDFilter)은 각 블록마다 동일한 필터 w_c를 사용하고, 블록이 끝날 때마다 그라디언트 스텝 η_c = 1/(Hc) 로 w를 업데이트한다. 필터의 ℓ₂ 노름을 R으로 제한해 투사(projection)함으로써 G = max_{t,w}‖∇L_{k,t}(w)‖ 를 제한한다. 정리 1과 그에 따른 Corollary 1은 기대 후회가 O(d³R²(B_X+ B_N)⁴ /σ²·log T) 로, R = √(d)B_X/σ 를 대입하면 O(d⁴B_X⁴(B_X+ B_N)⁴ /σ⁶·log T) 가 된다. 이는 기존 O(√T) 수준보다 훨씬 우수한 로그‑스케일이다.

적응형 후회를 달성하기 위해 논문은 전문가(Expert) 프레임워크를 도입한다. 각 전문가는 알고리즘 1을 서로 다른 시작 시점에 적용한 필터 시퀀스를 제공한다. 알고리즘 2(AdaptiveFilter)는 매 블록마다 새로운 전문가를 추가하고, 지수 가중치 업데이트 p_i←p_i·exp(−αL_{k,c}(w_i)) 로 전체 예측을 가중합한다. α는 dσ²·G(2d,R)² 로 설정해 로그‑후회 보장을 얻는다. 정리 2와 Corollary 2는 모든 구간 I⊆