후방 모드 기반 차원 축소와 베이지안 모델 평균

본 논문은 고차원 선형 회귀 모델에서 스파이크‑앤‑슬랩 사전과 무거운 꼬리 오류를 동시에 다루는 베이지안 변수 선택 문제를 다룬다. 전통적인 MCMC는 모델 공간이 2^p 로 급증함에 따라 다중극점 현상에 빠지기 쉽고, 계산 비용이 크게 증가한다. 반면 MAP 추정은 계산 효율성이 뛰어나지만 사후 불확실성을 제공하지 못한다. 이를 해결하고자 저자들은 두 단계 하이브리드 알고리즘을 제안한다. 1. **문제 설정 및 하이퍼볼릭 오류 모델** 회귀식 Y = Xβ + ε 를 가정하고, ε_i 를 하이퍼볼릭 분포 f_Hyperbolic(·|η,ρ²) 로 모델링한다. 하이퍼볼릭은 shape 파라미터 η 로 꼬리 두께를 조절할 수 있어, 정규분포보다 더 큰 이상치에 강건하다. 모델 불확실성은 이진 벡터 γ 로 표현되며, γ_j=1이면 j번째 변수를 포함한다. 스파이크‑앤‑슬랩 사전은 전통적인 점 질량+연속형 형태 대신, 두 개의 연속형 정규 혼합(스파이크: 작은 분산 κ₀, 슬랩: 큰 분산 κ₁)으로 대체해 미분 가능성을 확보한다. 2. **Step 1 – ECM 기반 후방 모드 탐색** - **E‑스텝**: 현재 파라미터 추정값을 이용해 γ에 대한 조건부 기대값 g_j = P(γ_j=1|·) 를 계산한다. 이는 스파이크‑슬랩 혼합 사전과 베타‑베르누이 사전의 결합으로 닫힌 형태로 얻을 수 있다. - **CM‑스텝**: Q‑함수(조건부 기대 로그 사후) 를 각 파라미터 블록별로 최대화한다. β̂, ρ̂², τ̂², θ̂, σ̂_i 에 대한 업데이트 식이 명시적으로 제시되며, 반복 수행을 통해 후방 모드(즉, MAP) 추정값을 얻는다. 이때 η는 고정값 η=1 로 두어, 경량화된 꼬리 모델을 가정한다. ECM 단계는 전체 모델 공간을 탐색하지 않고, 현재 파라미터에 대한 기대값만 사용하므로 계산량이 크게 감소한다. 3. **Step 2 – GECM‑HEM: 축소 모델 공간에서 Gibbs 샘플링** ECM 결과에서 g_j 가 높은 변수들만을 포함하는 제한된 모델 집합 Γ_reduced 를 정의한다. 이 집합은 전체 2^p 중 극히 일부이며, 고밀도 영역을 포괄한다. 이후 Gibbs 샘플러를 사용해 β, γ, ρ², τ², θ 를 순차적으로 샘플링하고, η 에 대해서는 사전 G_η 에 정의된 격자값을 메트로폴리스‑헤이스팅으로 탐색한다. 이렇게 하면 (a) 변수 선택에 대한 사후 확률, (b) 회귀계수의 사후 분포, (c) 꼬리 두께 η 의 불확실성까지 모두 추정할 수 있다. 4. **시뮬레이션 연구** - 다양한 p (100~500)와 n (200~1000) 조합에서 기존 스토캐스틱 서치 HEM, EMVS, SSQLASSO 등과 비교하였다. - 변수 선택 정확도(정밀도·재현율)와 모델 평균 예측 오차(MSE)에서 제안 방법이 일관적으로 우수했다. - MCMC 체인 길이를 크게 늘리지 않아도 수렴이 빠르고, ESS(effective sample size)도 높은 편이었다. 5. **실제 데이터 적용** - Ames Housing, Boston Housing, 그리고 유전학 데이터 등 세 가지 실제 데이터셋에 적용하였다. - 변수 선택 결과는 도메인 전문가가 기대하는 주요 변수와 일치했으며, 예측 성능(R², RMSE)도 기존 베이지안 방법보다 개선되었다. - 특히 꼬리 두께 η 의 사후 분포가 넓게 퍼져 있어, 데이터에 존재하는 이상치와 변동성을 적절히 반영함을 확인했다. 6. **결론 및 향후 연구** - ECM 기반 모드 탐색과 제한된 모델 공간에서의 Gibbs 샘플링을 결합함으로써, 대규모 변수 선택 문제에서도 계산 효율성과 베이지안 불확실성 정량화를 동시에 달성했다. - 현재는 η 를 고정하거나 격자 탐색에 의존하고 있어, 더 정교한 연속형 사전과 변분 추정법을 도입하면 η 를 완전 베이지안 방식으로 추정할 수 있을 것으로 기대된다. - 또한 스파이크‑슬랩 사전을 점 질량 형태로 유지하면서도 ECM 단계에서 미분 가능하도록 하는 새로운 파라미터화도 연구 대상이다.