투표 예측을 위한 해석 가능한 SR4Fit 알고리즘

초록

SR4Fit은 RuleFit의 규칙 추출 구조와 SR3의 희소 최적화를 결합한 새로운 해석 가능한 분류 모델이다. 미국 하원의 선거구 인구통계 데이터를 이용해 정당 승자를 예측했으며, 정확도와 안정성 면에서 랜덤 포레스트·SVM 등 기존 블랙박스 모델을 능가하고, RuleFit보다 간결하고 일관된 규칙 집합을 제공한다. 또한 유방암, Ecoli 등 6개의 공개 데이터셋에서도 유사한 성능 향상을 확인했다.

상세 분석

SR4Fit은 기존 RuleFit이 제시한 “결정 트리에서 경로를 추출해 이진 규칙으로 변환하고, 이를 선형 모델에 결합한다”는 아이디어를 그대로 유지하면서, 희소성을 강화하기 위해 SR3(Sparse Relaxed Regularized Regression) 프레임워크를 도입한다. 구체적으로, 추출된 규칙과 원본 피처를 결합한 확장 피처 행렬 Z 에 대해 로지스틱 손실을 최소화하고, ℓ₁ 패널티 λ와 β와 w 사이의 ℓ₂ 제약 κ를 동시에 적용한다. 이중 변수 β (예측 가중치)와 w (희소성 전용 변수)를 교대로 업데이트하는 ADMM‑유사 절차는, β 가 예측 정확도를 담당하고 w 가 실제 모델에 포함될 규칙을 선택하도록 만든다. 결과적으로, w_j = 0인 규칙은 자동으로 제외되어 모델 복잡도가 크게 감소한다.

알고리즘 설계상의 핵심 장점은 다음과 같다. 첫째, 규칙 추출 단계에서 r_max 파라미터로 최대 규칙 수를 제한함으로써 과도한 규칙 폭증을 방지한다. 둘째, SR3의 β ≈ w 제약은 β 가 과도하게 큰 값을 갖는 것을 억제하면서, w 가 선택한 소수의 규칙에 집중하도록 만든다. 셋째, 로지스틱 손실을 사용함으로써 이진·다중 클래스 문제에 자연스럽게 적용 가능하며, one‑vs‑rest 전략을 통해 다중 클래스에서도 일관된 해석을 제공한다.

실험에서는 4가지 규모의 인구통계 데이터셋(최소, 표준, 확장, 이전당선자 포함)과 6개의 공개 벤치마크 데이터셋을 대상으로 30회(선거 데이터)·10회(벤치마크) 교차 검증을 수행했다. 평가 지표는 정확도, 정밀도·재현율·F1, Dice‑Sorensen(안정성) 그리고 해석성 점수(IPS)이다. 결과는 SR4Fit이 랜덤 포레스트와 SVM에 비해 정확도 차이가 미미하거나 약간 우수하면서, 규칙 수가 평균 1218개로 RuleFit(≈3045개)보다 절반 이하이며, Dice‑Sorensen 점수도 0.92 이상으로 높은 일관성을 보였다. 특히, “전당대회 승자 + 고령·고학력 비율”과 같은 복합 규칙이 선거구 안전성 예측에 핵심적인 역할을 하는 것이 확인되었으며, 이러한 규칙은 기존 블랙박스 모델에서는 해석이 불가능했다.

한계점으로는 규칙 추출을 위해 랜덤 포레스트를 사전 학습해야 하므로 초기 계산 비용이 존재하고, r_max 와 λ, κ 의 튜닝이 데이터 특성에 민감할 수 있다는 점이다. 또한, 매우 고차원·극단 불균형 데이터에서는 규칙 선택이 과도하게 제한될 위험이 있다. 향후 연구에서는 규칙 추출 단계에 Gradient Boosting이나 XGBoost를 적용해 다양성을 확대하고, 자동 하이퍼파라미터 최적화 기법을 도입해 실용성을 높이는 방안을 제시한다.