다양성을 활용한 변분 결정행렬 과정 기반 희소 회귀

본 논문은 “다양성을 활용한 변분 결정행렬 과정 기반 희소 회귀”라는 제목 아래, 베이지안 스파스 회귀 모델에서 변수 선택의 다양성을 정량화하고 최적화하는 새로운 방법론을 제시한다. 기존 스파스 회귀 기법(LASSO, Elastic Net, OMP 등)은 주로 변수의 회귀계수 크기나 정규화 패널티에 초점을 맞추어, 변수 간 상관관계(공분산)나 외부 도메인 지식(예: 유전자‑유전자 상호작용 네트워크)을 직접 반영하지 못한다. 특히, OMP는 선택된 변수들이 서로 직교하도록 설계돼 간접적으로 다양성을 촉진하지만, 확률적 모델이 아니므로 사후 불확실성을 정량화하거나 사이드 정보를 유연하게 통합하기 어렵다. 저자들은 이러한 문제를 해결하기 위해 변분 결정행렬 과정(DPP)을 사후분포의 근사분포로 채택한다. DPP는 커널 L의 행렬식(det L_γ)이 선택된 집합 γ의 부피와 비례하도록 설계돼, 서로 유사한 변수는 동시에 선택될 확률이 낮아진다. 이를 위해 먼저 스파이크‑앤‑슬래브 모델을 정의하고, γ∈{0,1}^M 로 변수 포함 여부를 나타낸다. 베르누이 사전 α와 정규 슬래브(분산 σ²·Λ₀⁻¹) 를 결합한 전통적인 베이지안 설정을 유지하면서, 변분 근사 q(γ;θ) 를 DPP 형태로 지정한다. 구체적으로 L = diag(e^{θ/2}) Φ Φᵀ diag(e^{θ/2}) 로 정의하고, Φ는 (1) 회귀 설계 행렬 X 자체(공분산 기반) 혹은 (2) 외부 네트워크에서 파생된 임베딩(예: 그래프 라플라시안 기반) 으로 설정한다. Φ가 단위 행렬이면 DPP는 평균장과 동일해, 제안 방법이 기존 방법을 일반화함을 보여준다. 변분 최적화는 KL(q‖p) 최소화로 전개된다. DPP는 일반적인 지수족이 아니지만, q(γ;θ)=exp(θᵀγ−U(θ))·det(Φ_γΦ_γᵀ) 형태로 재표현함으로써 Salimans & Knowles(2013)의 스토캐스틱 변분 알고리즘을 적용한다. 핵심은 현재 q에서 샘플 γ_t 를 추출하고, 이를 이용해 기대값 C_t=E_q