샤플리 변수 중요도 구름: 모델군을 아우르는 해석적 통합

초록

본 논문은 SHAP 기반 로컬·글로벌 해석의 한계를 보완하기 위해, 동일 모델 클래스 내에서 성능 기준을 만족하는 여러 “좋은” 모델을 집합적으로 분석하는 샤플리 변수 중요도 구름(Shapley Variable Importance Cloud, SVIC)을 제안한다. SVIC는 모델군 전체에 걸친 변수 기여도의 분포를 시각화함으로써 단일 최종 모델에 의존한 과대평가를 방지하고, 기존 SHAP 해석과 Dong‑Rudin의 모델군 접근법을 자연스럽게 연결한다. 형사 사법 데이터와 전자의무 기록 데이터를 활용한 실험에서 SVIC가 변수 중요도에 대한 보다 견고하고 풍부한 인사이트를 제공함을 입증한다.

상세 분석

이 연구는 해석 가능한 머신러닝 분야에서 두 가지 주요 흐름을 통합한다. 첫 번째는 SHAP(Shapley Additive exPlanations)이라는 게임이론 기반 로컬 설명 기법으로, 각 예측에 대한 변수 기여도를 정량화한다. SHAP는 모델-불변성, 효율성, 대칭성 등 샤플리 값의 핵심 특성을 보존하면서 직관적인 시각화를 제공한다는 장점이 있다. 그러나 SHAP는 일반적으로 하나의 최종 모델에만 적용되며, 모델 선택 과정에서 발생할 수 있는 불확실성을 반영하지 못한다는 비판이 있다. 두 번째 흐름은 Dong과 Rudin이 제안한 “good enough” 모델군 접근법이다. 이들은 동일한 모델 클래스 내에서 성능 기준(예: 검증 손실이 ε 이하) 을 만족하는 여러 모델을 탐색하고, 변수 중요도에 대한 변동성을 분석함으로써 단일 모델에 기반한 과대평가를 지적한다. 하지만 그 방법은 기존 SHAP 프레임워크와 직접적인 연계가 부족하고, 결과를 직관적으로 전달할 시각화 도구가 제한적이다.

SVIC는 이러한 격차를 메우기 위해, “good enough” 모델군을 샤플리 값의 집합으로 변환한다. 구체적으로, 각 후보 모델에 대해 SHAP 값을 계산하고, 동일 변수에 대한 샤플리 값들의 분포를 추출한다. 이때 변수별 평균, 중앙값, 사분위 범위뿐 아니라 전체 분포 형태까지 보존한다. 핵심 아이디어는 변수 중요도를 하나의 점이 아니라 확률밀도 혹은 구름 형태로 표현함으로써, 모델군 전반에 걸친 불확실성을 시각적으로 드러내는 것이다. 이를 구현하기 위해 저자들은 두 가지 새로운 시각화 기법을 제안한다. 첫 번째는 “Importance Cloud Plot”으로, 변수별 샤플리 값의 2‑D 밀도 곡선을 겹쳐 보여준다. 두 번째는 “Model‑Weighted Cloud”로, 각 모델의 성능 점수를 가중치로 사용해 중요도 구름을 가중 평균한다. 이러한 시각화는 변수 간 상호작용, 변수 중요도의 비대칭성, 그리고 특정 변수에 대한 민감도 변화를 한눈에 파악하게 한다.

실험에서는 두 개의 실제 데이터셋을 사용한다. 첫 번째는 미국 형사 사법 시스템에서 재범 위험을 예측하는 COMPAS 데이터이며, 두 번째는 전자의무 기록(EHR)에서 입원 예측을 수행하는 대규모 의료 데이터이다. 각각에 대해 로지스틱 회귀, 랜덤 포레스트, XGBoost 등 다양한 모델 클래스를 선택하고, 검증 손실이 최적 모델 대비 5% 이내인 모델들을 “good enough” 집합으로 정의한다. 이후 전통적인 SHAP(단일 모델) 결과와 Dong‑Rudin의 변수 중요도 변동성 분석, 그리고 제안된 SVIC 결과를 비교한다. 결과는 다음과 같다. (1) SHAP은 특정 변수(예: 이전 범죄 횟수, 혈압) 를 과도하게 강조하는 경향이 있었으며, 모델군 전체에서는 해당 변수의 기여도가 크게 변동했다. (2) Dong‑Rudin 방법은 변수 중요도의 평균값만 제공해, 분포의 형태와 극단값을 놓쳤다. (3) SVIC는 변수별 중요도 구름을 통해, 예를 들어 “범죄 횟수”는 대부분 모델에서 중간 수준 기여를 하지만, 일부 고성능 모델에서는 매우 높은 기여를 보이는 것을 명확히 드러냈다. 또한, 의료 데이터에서는 “혈당”과 “연령”이 서로 보완적인 역할을 하는 구름 형태가 관찰돼, 변수 간 상호보완성을 시사한다.

이러한 결과는 두 가지 중요한 시사점을 제공한다. 첫째, 모델 선택 과정에서 발생하는 불확실성을 정량화하고 시각화함으로써, 정책 입안자나 의료 전문가가 변수 중요도에 과도하게 의존하는 위험을 감소시킨다. 둘째, SVIC는 기존 SHAP 툴체인에 쉽게 통합될 수 있어, 실무에서 바로 적용 가능하다. 구현 측면에서는 파이썬 기반의 “shapcloud” 라이브러리를 공개했으며, GPU 가속을 이용한 대규모 모델군 샤플리 계산 파이프라인을 제공한다. 향후 연구 방향으로는 비선형 상호작용을 직접 모델링하는 “Interaction Cloud”와, 베이지안 모델군을 활용한 사전 확률 기반 중요도 구름 확장 등이 제시된다.