정규화 스파이크‑슬랩 모델을 활용한 직교 다항식 스무딩 기법

본 논문은 베이지안 변수 선택 기법인 스파이크‑슬랩 모델을 정규화(rescaling) 과정을 통해 확장한 정규화 스파이크‑슬랩(Rescaled Spike‑and‑Slab, 이하 RSS) 모델을 고차원 직교 설계 행렬에서의 스무딩 문제에 적용한다. 논문은 크게 네 부분으로 구성된다. 첫 번째 부분에서는 RSS 모델의 이론적 배경을 제시한다. 기존 스파이크‑슬랩 모델은 계수를 두 개의 혼합 분포(스파이크: 0에 집중, 슬랩: 넓은 분포)로 두어 변수 선택을 수행한다. 그러나 일반 설계에서는 사후 평균이 데이터에 의해 급격히 희석돼 선택적 수축이 사라지는 문제가 있다. 이를 해결하기 위해 응답 Y_i 를 √n/σ̂ 로 스케일링하고, 사전 분산에 n을 삽입한다. 이 정규화는 사후 평균이 비소멸적인 페널티를 갖게 하며, 특히 설계 행렬이 직교(XᵀX=nI)일 때 선택적 수축이 이론적으로 보장된다. γ_k 를 연속적인 이항 혼합(스파이크와 오른쪽 꼬리)으로 두고, V_k=E(ν_k|Y*) (ν_k=γ_k/(1+γ_k)) 를 도입하면 사후 평균 β̂ 은 가중 리지 형태의 최적화 문제로 변환된다. V_k 가 1에 가까우면 페널티가 사라져 비제로 계수를 거의 그대로 복원하고, 0에 가까우면 강한 페널티가 적용돼 계수를 0으로 수축한다. 정리 2.1은 실제 신호가 있는 경우 V_k→1, 신호가 없는 경우 V_k→0임을 증명해, RSS가 “oracle‑like” 변수 선택을 달성함을 보인다. 두 번째 부분에서는 전역 스무딩에 RSS를 적용한다. 직교 다항식(예: Legendre, Chebyshev) 기반 설계 행렬을 사용해 차수 d=10인 경우와 과도하게 차수를 늘린 d=25인 경우를 비교한다. OLS와 비교했을 때, 전역 RSS는 차수를 늘려도 과적합을 억제하고 부드러운 추정곡선을 제공한다. 그러나 전역 스무딩은 전체 구간에 동일한 페널티를 부여하므로 급격한 곡률이 있는 구간을 충분히 포착하지 못한다는 한계가 있다. 세 번째 부분에서는 이러한 한계를 극복하기 위해 지역 회귀(local regression)를 도입한다. 가중 일반화 리지 회귀와 지역 가중 회귀가 동일한 해를 공유한다는 사실을 이용해, 각 평가점 x₀에서 가중 행렬 W(x₀) 를 정의하고, 해당 점에서의 스무터 행렬 S(x₀)=XᵀW(x₀)X+Λ⁻¹⁻¹ 를 계산한다. 여기서 Λ는 RSS에서 유도된 가중 리지 페널티 행렬이다. 자유도(df(x₀)=tr(S(x₀)))를 추정함으로써, 모델 복잡도가 위치에 따라 어떻게 변하는지를 시각화한다. 자유도 플롯은 곡선이 급격히 변하는 구간에서는 높은 자유도가, 평탄한 구간에서는 낮은 자유도가 나타나며, 이는 곡률을 직관적으로 파악할 수 있는 도구가 된다. 네 번째 부분에서는 실제 데이터에 대한 적용 사례를 제시한다. (1) 척추 골밀도(BMD) 데이터에서는 남·녀별 성장 곡선을 추정하고, 차수를 과도하게 늘린 경우에도 RSS가 OLS보다 부드러운 추정치를 제공함을 확인한다. (2) 우주 마이크로파 배경복사 데이터에서는 고차원 직교 다항식 기반 지역 회귀를 적용하고, 자유도 플롯을 통해 복잡한 스펙트럼 구조를 효과적으로 해석한다. (3) 질량분광 단백질 데이터에서는 다중 변수 선택과 스무딩을 동시에 수행해, 잡음에 강인하면서도 중요한 피처를 정확히 식별한다. 전체적으로 논문은 다음과 같은 기여를 한다. 첫째, 정규화 스파이크‑슬랩 모델을 통해 직교 설계에서 선택적 수축을 보장하고, 이는 고차원 상황에서도 변수 선택과 추정의 안정성을 제공한다. 둘째, 전역 스무딩과 지역 회귀를 결합해 전역적인 부드러움과 지역적인 적응성을 동시에 달성한다. 셋째, 자유도 기반 시각화 기법을 도입해 곡선의 지역적 복잡성을 직관적으로 파악할 수 있게 하였다. 넷째, 다양한 실증 사례를 통해 제안 방법이 실제 데이터 분석에 유용함을 입증하였다. 이러한 결과는 베이지안 변수 선택과 스무딩을 통합한 새로운 분석 프레임워크를 제공하며, 특히 직교 설계가 가능한 상황에서 계산 효율성과 해석 가능성을 크게 향상시킨다.