베이지안과 빈도주의 회귀 정규화 비교

초록

본 논문은 변수 수가 관측치 수와 거의 동일한 저정보 상황에서 베이지안과 빈도주의 정규화 방법을 비교한다. Zellner의 g‑prior 기반 비정보 베이지안 변수 선택 기법을 제안하고, 시뮬레이션 및 실제 데이터 실험을 통해 베이지안 방법이 예측 오차가 작고 변수 선택이 더 간결함을 보임을 확인한다.

상세 분석

이 연구는 고차원 회귀 분석에서 과적합을 방지하기 위한 정규화 기법을 베이지안과 빈도주의 관점에서 체계적으로 비교한다. 특히 변수 수(p)가 표본 수(n)와 거의 동등한 “저정보” 상황을 설정함으로써, 기존 연구들이 주로 다루던 p ≪ n 혹은 p ≫ n 경우와는 다른 도전 과제를 제시한다. 베이지안 측면에서는 Zellner의 g‑prior를 기반으로 한 전역 비정보 사전분포를 설계한다. 이 사전은 Liang et al. (2008)의 혼합 g‑prior 구조를 변형하여, 하이퍼파라미터 g를 데이터에 의존하지 않는 캘리브레이션‑프리 방식으로 설정한다. 구체적으로, g를 1 + n / (p + 1) 형태의 함수로 정의하거나, 베타‑분포 혼합을 통해 자동으로 스케일을 조정한다. 이러한 설계는 사전 선택에 따른 민감도를 최소화하면서도, 모델 복잡도에 대한 자연스러운 벌칙을 제공한다.

빈도주의 측면에서는 Ridge, Lasso, Elastic Net 등 전통적인 ℓ2 및 ℓ1 정규화 방법과, 최근에 제안된 SCAD, MCP와 같은 비선형 패널티를 포함한다. 각 방법은 교차 검증(CV) 혹은 정보 기준(AIC, BIC)을 통해 최적의 패널티 파라미터를 선택한다. 실험 설계는 두 단계로 이루어진다. 첫 번째는 다양한 상관 구조와 신호‑대‑노이즈 비율을 갖는 인공 데이터셋을 생성하여, p ≈ n, p > n, p < n 상황을 모두 포괄한다. 두 번째는 실제 유전학·경제·이미지 처리 분야에서 공개된 5개의 벤치마크 데이터를 사용한다. 평가 지표는 평균 제곱 오차(MSE), 변수 선택 정확도(정밀도·재현율), 그리고 모델 복잡도(선택된 변수 수)이다.

결과는 전반적으로 베이지안 방법이 빈도주의 정규화보다 낮은 MSE와 더 높은 변수 선택 정확도를 기록한다. 특히 비정보 g‑prior는 캘리브레이션 없이도 데이터에 맞는 적절한 스케일을 자동으로 찾아, 과도한 패널티 적용을 방지한다. 반면, Lasso와 Elastic Net은 교차 검증에 의존하는데, p ≈ n 상황에서는 CV가 불안정해져 최적 파라미터 선택이 어려워진다. 또한, 베이지안 접근은 사후 확률을 통해 변수 중요도를 직접 해석할 수 있어, 모델 해석성 측면에서도 장점을 제공한다. 다만, MCMC 기반 사후 샘플링은 계산 비용이 높아, 대규모 데이터에서는 변분 베이지안(VB) 혹은 기대 최대화(EM) 알고리즘으로의 확장이 필요함을 시사한다.

이 논문은 저정보 상황에서 베이지안 정규화가 실용적이며, 특히 캘리브레이션‑프리 g‑prior가 기존 베이지안 변수 선택 방법의 복잡성을 크게 낮춘다는 점을 강조한다. 또한, 빈도주의 방법과의 비교를 통해, 패널티 선택의 불확실성이 예측 성능에 미치는 영향을 실증적으로 보여준다. 향후 연구에서는 고차원 비선형 모델(예: 베이지안 신경망)과의 연계, 그리고 변분 추론을 통한 스케일업 방안을 탐색할 여지가 있다.