온라인 선형 회귀의 희소성 후회 경계와 자동 튜닝 알고리즘

본 논문은 “온라인 선형 회귀”라는 프레임 안에서 고차원( d ≫ T ) 데이터를 다루는 새로운 이론적 접근을 제시한다. 먼저 저자는 “희소성 후회 경계(sparsity regret bound)”라는 개념을 정의한다. 이는 전통적인 regret = ∑(y_t‑ŷ_t)² – inf_u ∑(y_t‑u·ϕ(x_t))² 에 추가적인 벌점 Δ_T,d(u) 을 더해, 비제로 성분 수 ‖u‖₀ 에 비례하는 로그‑항을 포함하도록 만든다. 목표는 ‖u‖₀ = s 인 경우, regret이 O(s·log T) 정도만큼 성장하도록 하는 것이다. 이를 달성하기 위해 제안된 SeqSEW 알고리즘은 두 핵심 아이디어를 결합한다. 첫째, 지수 가중치(Exponentially Weighted Average) 방식을 사용해 모든 가능한 파라미터 u에 대한 사후 확률을 업데이트한다. 이때 사전 분포는 “희소성 친화형”으로, 각 좌표가 독립적인 라플라스형(또는 Cauchy형) 꼬리를 갖도록 설계한다. 둘째, 데이터‑드리븐 절단(truncation) 메커니즘을 도입해 예측값이 지나치게 크게 튀는 상황을 억제한다. 절단 수준은 현재 관측값과 이전 예측 오차에 기반해 자동으로 조정되며, 별도의 하이퍼파라미터 튜닝이 필요 없다. 이러한 자동 튜닝은 PAC‑Bayesian 프레임워크를 통해 정량적으로 분석된다. 구체적으로, PAC‑Bayesian 불평등 \