스텝와이즈 앙상블을 활용한 변수 선택

본 논문은 변수 선택을 위한 앙상블 접근법을 체계적으로 제시하고, 기존의 무작위 최적화 기반 VSE(Variable‑Selection Ensemble)보다 성능이 뛰어난 새로운 알고리즘 ST2E(Stochastic Stepwise Ensemble)를 개발한다. 1. **배경 및 문제 정의** - 변수 선택은 예측 정확도와 모델 해석성을 동시에 만족시켜야 하는 핵심 과제이다. 전통적인 단계별 선택(stepwise)이나 Lasso와 같은 정규화 방법은 하나의 모델에 대한 중요도 점수만을 제공한다(B=1). - VSE는 여러 독립적인 중요도 측정을 결합해 B×p 행렬을 만든 뒤, 평균(R(j))을 이용해 변수들을 순위 매긴다. 다수의 측정값을 평균함으로써 선택 안정성을 높일 수 있다. 2. **기존 VSE 구현 – PGA** - Zhu와 Chipman(2006)은 Parallel Genetic Algorithm(PGA)를 사용해 AIC를 조기에 중단시킨 여러 서브 최적 해를 생성, 이를 앙상블화하였다. - PGA는 무작위 유전 연산과 조기 종료를 통해 다양한 변수 조합을 얻지만, 탐색 과정이 비교적 무구조적이며 탐색 편향이 발생할 위험이 있다. 3. **제안 알고리즘 – ST2** - 전통적인 전진·후진 스텝와이즈 절차를 확장해, 한 번에 하나가 아니라 무작위 크기의 변수 그룹을 추가하거나 삭제한다. - **그룹 크기(g)**: 현재 후보 변수 수 m에 대해 φ_g(m)∼Uniform{1,…,⌊λm+0.5⌋} (λ=0.5) 로 결정, 즉 절반 이하의 변수만 한 번에 조작한다. - **평가 그룹 수(k)**: φ_k(m,g)=⌈(m choose g)^{1/κ}+0.5⌉ 로 정의, κ>1은 다양성-강도 트레이드오프를 조절한다. - 각 단계에서 k개의 무작위 그룹을 평가하고, 목표 함수(AIC 등)를 가장 크게 개선하는 그룹을 선택한다. 이 과정을 전진·후진이 교대로 진행해 개선이 없을 때까지 반복한다. 4. **강도‑다양성 트레이드오프** - Breiman(2001)의 랜덤 포레스트 이론을 차용해, 개별 경로가 강도(strength)를 유지하면서도 서로 다른 경로 간 상관을 최소화(다양성)하도록 설계한다. - 무작위 그룹 크기와 무작위 그룹 선택은 다양성을 크게 증가시키고, AIC 기반 선택은 각 경로의 강도를 보장한다. 5. **실험 설계 및 결과** - **동기 부여 실험**: 20개의 후보 변수 중 3개가 실제 모델에 포함되는 시뮬레이션에서 약한 신호 변수(x₁)의 선택 확률을 비교. B=300인 동일한 앙상블 크기에서 ST2E는 PGA보다 약한 신호에 대한 재현율이 현저히 높았다. 강한 신호와 잡음 변수에 대해서는 두 방법이 비슷하거나 ST2E가 약간 우수했다. - **다양한 시뮬레이션**: 다양한 신호‑대‑잡음 비율, 변수 상관 구조, 표본 크기 등을 변형해 10여 개의 시나리오를 테스트. ST2E는 전반적으로 높은 선택 정확도와 낮은 false discovery rate를 기록했다. - **실제 데이터**: 고차원 유전형 데이터, 경제 지표 데이터 등에서 Lasso, Elastic Net, SCAD, Random Lasso, Stability Selection 등과 비교. ST2E는 변수 재현율과 모델 해석성 측면에서 경쟁력을 보였으며, 특히 ‘large‑p, small‑n’ 상황에서 κ 값을 조정해 그룹 크기를 제한함으로써 계산 비용을 효율적으로 관리했다. 6. **튜닝 파라미터 κ** - 변수 선택 앙상블은 교차 검증을 통한 튜닝이 불가능하므로, Breiman(2001)의 아이디어를 차용해 κ를 경험적으로 설정한다. κ가 작을수록 더 많은 그룹을 평가해 다양성이 증가하지만 계산량이 급증한다; κ가 크면 평가 그룹 수가 감소해 강도는 유지되지만 다양성이 떨어진다. 논문에서는 κ≈2~3을 기본값으로 제안하고, 데이터 규모에 따라 조정한다. 7. **결론 및 시사점** - ST2E는 구조화된 확률적 스텝와이즈 탐색을 통해 VSE의 강도와 다양성을 동시에 만족시키는 새로운 변수 선택 프레임워크이다. - 기존 PGA 기반 VSE보다 약한 신호 탐지 능력이 뛰어나며, Lasso 계열 방법보다 false discovery control이 우수하다. - 앙상블 설계 시 ‘강도‑다양성’ 균형을 어떻게 맞출 것인가에 대한 실용적인 가이드라인을 제공함으로써, 고차원 통계 모델링 및 머신러닝 분야에서 향후 연구와 실무 적용에 중요한 기반을 마련한다.