사전 무지와 전문가 의견을 반영한 신뢰 모델 평균

1. 서론 분류 문제에서 어떤 공변량을 모델에 포함시킬지에 대한 불확실성은 모델 선택 불확실성(model uncertainty)으로 알려져 있다. 베이지안 모델 평균(Bayesian Model Averaging, BMA)은 이러한 불확실성을 해결하기 위해 여러 후보 모델의 사후 확률을 가중치로 사용해 예측을 수행한다. 그러나 BMA는 모델에 대한 사전 확률 P(m) 의 설정에 민감하며, 특히 표본이 적은 경우 사전 선택이 결과에 큰 영향을 미친다. 기존 연구에서는 균등 사전, 계층적 베타‑베르누이 사전 등을 사용해 민감도 분석을 별도로 수행했지만, 사전 선택 자체가 임의적이라는 근본적인 문제를 남긴다. 2. 베이지안 모델 평균과 로지스틱 회귀 논문은 이진 분류를 목표로 하며, k 개의 공변량 X₁,…,X_k 에 대해 모든 부분집합을 모델 구조 m_i 로 정의한다. 각 모델은 로지스틱 회귀 형태 η = β₀ + Σ_{l∈X_i} β_l x_l 을 갖는다. BMA는 모델별 사후 확률 P(m_i|D) 와 클래스 사후 확률 P(c₁|D,x,m_i) 를 곱해 전체 예측 P(c₁|D,x) = Σ_i P(c₁|D,x,m_i) P(m_i|D) 를 계산한다. 모델 사후 확률은 사전 P(m_i) 와 주변가능도 P(D|m_i) 에 의해 결정되며, 주변가능도는 BIC 근사를 사용해 exp(-BIC_i/2) 로 대체한다. 2.1. 비정보적 사전 IB(Independent Bernoulli) 사전은 각 변수의 포함 여부를 독립적으로 확률 θ 로 모델링한다. θ=0.5이면 균등 사전이 되지만, 모델 크기 W 는 이항분포를 따르게 된다. BB(Beta‑Binomial) 사전은 θ 에 베타(α,β) 사전을 부여해 θ 를 무작위화하고, α=β=1이면 θ 가 균등분포가 되며, 결과적으로 모델 크기 W 가 균등분포를 갖는다. 2.2. 정보적 사전 NB(Non‑identical Bernoulli) 사전은 변수별 포함 확률 θ_j 를 개별적으로 지정한다. 이는 전문가가 각 변수의 중요성을 다르게 평가할 수 있게 해준다. 3. Credal Model Averaging (CMA) CMA는 모델 사전 확률을 하나의 값이 아니라 구간(credal set)으로 정의한다. 두 가지 변형이 제시된다. 3.1. CMA‑ib IB 사전의 파라미터 θ 를 구간