클래스별 변수 선택을 통한 베이지안 다항 회귀 모델링

초록

다중 클래스 분류 문제에서 각 클래스마다 다른 예측 변수를 선택하도록 베이지안 프레임워크를 확장하였다. 전역적인 변수 선택이 아닌, 클래스별 회귀계수 행렬의 개별 요소를 스파이크‑슬랩 방식으로 제로화함으로써 모델 선택과 평균화를 동시에 수행한다.

상세 분석

다항 로짓 모델은 응답 변수가 J 개의 무순서 클래스로 이루어진 경우, 각 클래스 j 에 대해 선형 예측값 η_{ij}=x_i^Tβ_j 를 정의하고, 소프트맥스 함수를 통해 클래스 확률을 얻는다. 전통적인 베이지안 변수 선택은 전체 β 행렬의 열 전체를 0으로 만들거나 유지하는 방식, 즉 “전역 변수 선택(global predictor selection, GPS)”을 채택한다. 그러나 실제 데이터에서는 특정 변수가 일부 클래스에만 영향을 미치는 경우가 흔히 발생한다. 저자들은 이러한 현상을 반영하기 위해 “클래스별 변수 선택(class‑specific predictor selection, CSPS)”을 제안한다.

CSPS는 각 회귀계수 β_{jk} 에 대해 이진 포함 지표 γ_{jk}∈{0,1} 을 도입하고, γ_{jk}=0 이면 해당 계수를 정확히 0으로 고정한다. 스파이크‑슬랩 사전은 β_{jk} | γ_{jk}=1 ∼ N(0,σ^2) 와 γ_{jk} ∼ Bernoulli(π_k) 으로 구성되며, π_k 는 변수가 전체 클래스에 걸쳐 선택될 사전 확률을 나타낸다. 이렇게 하면 변수가 특정 클래스에만 선택될 확률이 높아지며, 전체 모델 차원은 J×K 에서 실제 활성 계수 수만큼 크게 감소한다.

베이지안 추론은 Gibbs 샘플링 또는 Metropolis‑in‑Gibbs 알고리즘을 통해 수행된다. 특히 γ_{jk} 의 조건부 사후는 베르누이 형태이므로 효율적인 블록 업데이트가 가능하고, β_{jk} 는 가우시안 사후를 갖는다. 저자는 또한 하이퍼파라미터 π_k 와 σ^2 에 대해 비제한적 사전(예: 베타, 인버스‑가마)을 부여해 완전한 계층적 모델을 구성한다.

시뮬레이션에서는 GPS와 CSPS를 비교했을 때, CSPS가 변수 선택 정확도와 예측 성능 모두에서 우수함을 보였다. 특히 클래스 간 효과가 이질적인 경우, CSPS는 불필요한 변수들을 효과적으로 배제해 과적합을 방지한다. 실제 데이터(예: 의료 진단, 텍스트 분류) 적용에서도 클래스별 중요한 변수를 식별함으로써 해석 가능성을 크게 향상시켰다.

계산 복잡도 측면에서도 CSPS는 각 γ_{jk} 를 독립적으로 샘플링하므로, 차원 J·K 에 비례하는 연산량이지만, 실제 활성 계수는 희소하기 때문에 메모리 사용량과 수렴 속도가 개선된다. 또한, 모델 평균화를 자연스럽게 수행함으로써 예측에 대한 불확실성을 정량화할 수 있다.

전반적으로 이 논문은 다항 회귀에서 클래스별 변수 선택이라는 새로운 베이지안 접근법을 제시하고, 이론적 정당성과 실험적 검증을 통해 기존 방법보다 더 유연하고 효율적인 모델링이 가능함을 입증한다.