시간에 따라 변하는 모델 파라미터를 위한 희소 적응형 사전

초록

본 논문은 시계열 데이터에서 모델 파라미터가 시간에 따라 변한다는 가정을 바탕으로, 파라미터의 희소성을 유지하면서 인접 시점 간 상관 강도를 데이터에 따라 자동으로 조정하는 새로운 베이지안 사전(prior)을 제안한다. 트라이다이아고날 정밀 행렬을 이용해 계산 효율성을 확보하고, 변분 추론(mean‑field variational inference)으로 근사 MAP 추정치를 얻는다. 금융 보고서 텍스트를 이용한 변동성 예측과, 시계열 경제 지표에 조건화된 언어 모델링 두 가지 실험에서 기존 Lasso·Ridge 기반 모델들을 능가함을 보였다.

상세 분석

이 연구는 시간에 따라 변동하는 파라미터를 다루는 문제를 “그룹 라소”와 “시간‑시리즈” 모델링을 결합한 형태로 재구성한다. 핵심 아이디어는 각 피처 i에 대해 T개의 시간 스텝에 걸친 파라미터 β_i = (β_i^{(1)},…,β_i^{(T)}) 를 하나의 그룹으로 보고, 이 그룹을 다변량 정규분포 N(0,Λ_i^{-1}) 로부터 샘플링한다는 점이다. 여기서 Λ_i는 대각선 외에 바로 위·아래 대각선에 α_i 값을 갖는 트라이다이아고날 행렬이며, λ_i라는 스칼라가 전체 정밀도를 조절한다. α_i는 인접 시점 간 상관을, λ_i는 전체 스케일(즉, 희소성)을 제어한다. 두 하이퍼파라미터 모두 Jeffreys prior(λ_i)와 절단 지수분포(α_i)로 사전분포를 두어, 학습 과정에서 자동으로 적응하도록 설계했다. α_i∈(−0.5,0.5) 일 때 Λ_i가 양정치임을 증명해 정규성 보장을 확보했으며, 이는 변분 추론 시 행렬식과 기대값을 닫힌 형태로 계산할 수 있게 한다.

계산 복잡도 측면에서, 트라이다이아고날 구조 덕분에 각 피처마다 O(N+T) 시간·공간 복잡도를 유지한다. 일반적인 와이샤트 사전을 사용하면 O(N+T²) 정도가 소요될 수 있는데, 이는 대규모 피처 집합(I가 수천 이상)에서는 실용적이지 않다. 또한, α_i를 피처당 하나만 두어 모델의 표현력을 크게 희생하지 않으면서도, 각 피처가 자체적인 “자동 상관 강도”를 학습하도록 함으로써, 시계열 데이터에서 오래된 정보와 최신 정보를 적절히 가중합할 수 있다.

변분 추론은 mean‑field 가정을 적용해 λ_i와 α_i에 대해 각각 Gamma와 절단 지수분포 형태의 변분분포 q(·)를 도입한다. 기대값 E_q