모델 수준 앙상블이 변수 중요도 추정 정확도를 높인다

초록

본 논문은 과학적 발견을 위한 머신러닝 모델의 변수 중요도 추정에서, 개별 모델의 중요도 점수를 평균하는 방식보다 예측 자체를 앙상블한 모델에 대해 중요도를 계산하는 것이 편향을 크게 감소시켜 더 정확한 추정치를 제공한다는 이론적·실험적 근거를 제시한다.

상세 분석

논문은 먼저 변수 중요도(VIM)가 위험 차이, 예를 들어 LOCO, CFI, SHAP와 같은 방법으로 정의된다는 점을 강조한다. 이러한 VIM은 비선형 손실함수에 의존하므로, “개별 모델들의 중요도 평균”(sub‑models)과 “앙상블 모델에 대한 중요도”(ensemble) 사이에 수학적으로 동등하지 않다. 저자는 위험 추정 오차를 세 부분—테스트셋 변동(A), 과잉 위험(E)—으로 분해하고, 과잉 위험을 다시 근사오차, 추정오차, 최적화오차(E_app, E_est, E_opt)로 나눈다. 기존 연구는 E가 충분히 작다고 가정해 A만을 고려했지만, 현대의 과잉 파라미터화된 신경망이나 랜덤 포레스트는 차원 저주와 학습 불안정성으로 인해 E_opt·E_est가 지배적일 수 있다.

핵심 정리는 “앙상블 전략은 개별 모델들의 과잉 위험을 직접 감소시켜 편향을 줄인다”는 것이다. 구체적으로, 다수의 모델을 평균해 만든 f_ens는 각 모델 f_b의 예측 오차가 상쇄되어 R(f_ens)≈R(f*)에 더 가깝게 된다. 따라서 LOCO와 같은 위험 차이 기반 VIM을 f_ens에 적용하면, 위험 차이 자체가 더 정확해져 편향이 크게 감소한다. 반면, sub‑models 방식은 개별 VIM의 분산만 감소시키고, 각 모델이 가진 편향(E) 자체는 그대로 남는다.

이론적 증명은 두 가지 약한 가정에 기반한다. 첫째, 학습된 모델이 손실 함수에서 Bayes 위험에 수렴한다는 손실 일관성(Assumption 4.1); 둘째, 최적 모델의 손실이 유한 분산을 가진다는 가정(Assumption 4.2)이다. 이 하에서 Proposition 4.3은 위험 추정 오차가 E + O_p(n^{-1/2})임을 보이며, E가 지배적일 경우 앙상블이 전체 오차를 크게 감소시킨다.

실험에서는 고전적인 벤치마크와 UK Biobank 대규모 단백질 데이터셋을 사용해, 표현력이 높은 딥러닝 모델과 랜덤 포레스트에 대해 두 전략을 비교한다. 결과는 LOCO, CFI, SHAP 모두에서 앙상블 전략이 변수 중요도 순위의 안정성을 크게 향상시키고, 실제 생물학적 해석(예: 위험 인자 식별)에서도 더 일관된 결과를 제공함을 보여준다. 특히, 최적화 오차가 큰 다중 초기화 신경망(≤10개)에서는 앙상블이 편향을 30‑40% 정도 감소시켜, 기존 단일 모델 기반 해석보다 신뢰성이 현저히 높다.

결론적으로, 변수 중요도 추정에서 “설명을 앙상블한다”(sub‑models)보다 “모델을 앙상블한다”(ensemble)가 과잉 위험을 감소시켜 편향을 줄이고, 따라서 과학적 발견에 더 적합한 해석을 제공한다는 새로운 패러다임을 제시한다.