CLE‑SH: 통계적 검증을 갖춘 SHAP 해석 자동화 도구

초록

**
본 논문은 SHAP 값의 통계적 유의성을 자동으로 검증하고, 중요한 특징 수 선정, 단변량·상호작용 분석, 그리고 비전문가도 이해할 수 있는 텍스트 보고서를 생성하는 파이썬 라이브러리 CLE‑SH를 제안한다. 5개의 의료 데이터셋을 활용해 특징 선택, 데이터 타입 분류, 다양한 통계 검정(단일표본 t, Wilcoxon, 두표본 t, Mann‑Whitney, ANOVA, Kruskal‑Wallis, 회귀 등)을 적용하고, 결과를 자연어 문장으로 요약함으로써 현재 SHAP 활용 시 나타나는 통계 검증 부재와 해석 복잡성을 해소한다.

**

상세 분석

**
CLE‑SH는 현재 바이오메디컬 분야에서 SHAP가 과도하게 시각화에 의존하고, 통계적 검증 없이 임의적으로 상위 k 개의 피처만을 ‘중요’하다고 판단하는 문제점을 정확히 짚어낸다. 논문은 먼저 최근 38편의 논문을 메타분석하여 84.8%가 SHAP summary plot만을 제시하고, 81.8%가 SHAP dependence plot을 전혀 사용하지 않는다는 사실을 제시함으로써 현행 관행의 한계를 실증한다.

제안된 CLE‑SH는 네 단계 파이프라인으로 구성된다.

1. 중요 피처 수 자동 결정 – SHAP 값의 절대값 분포와 사전 정의된 유의수준(예: p < 0.05)을 이용해 통계적으로 의미 있는 피처를 선택한다. 이는 기존의 ‘상위 10, 15, 20개’ 선택 방식과 달리 데이터‑드리븐이며, BorutaSHAP·Shapicant·PowerSHAP 등과 유사한 통계적 근거를 제공한다.
2. 피처 타입 자동 분류 – 각 피처를 이산형, 연속형, 이진형으로 구분하고, 타입별로 적절한 검정을 매핑한다. 예를 들어 이진형은 두 그룹 간 SHAP 차이를 t‑test 혹은 Mann‑Whitney U로, 연속형은 회귀 기반 함수 적합(선형, 2차, 지수 등)과 RMSE 기반 모델 선택을 수행한다.
3. 단변량 통계 분석 – SHAP 값의 부호 검증(단일표본 t, Wilcoxon)과 그룹 간 차이 검증(두표본 t, Mann‑Whitney, ANOVA, Kruskal‑Wallis, 사후 검정) 등을 자동 적용한다. 이를 통해 ‘특정 값 구간에서 양의 기여가 유의미하다’ 혹은 ‘남성 vs 여성 그룹에서 기여 차이가 있다’는 구체적 인사이트를 도출한다.
4. 상호작용(종속) 분석 – SHAP dependence plot을 자동 생성하고, 앞서 정의한 피처 타입에 따라 그룹별 SHAP 차이를 검정한다. 통계적으로 유의한 상호작용만을 추출해 보고서에 포함함으로써 현재 대부분 논문이 놓치고 있는 비선형·상호작용 정보를 강조한다.

CLE‑SH는 분석 결과를 자연어 문장으로 요약한다. 예를 들어 “연속형 피처 X 는 값이 증가함에 따라 SHAP 값이 선형적으로 증가하며, p = 0.003으로 통계적으로 유의합니다”와 같은 문장을 자동 생성한다. 이는 비전문가가 시각화만으로는 파악하기 어려운 패턴을 직관적으로 전달한다는 점에서 큰 장점이다.

실험에서는 5개의 서로 다른 의료 데이터셋(대장암, 심부전, 염증성 장질환 등)과 XGBoost 모델을 사용해 5‑fold 교차검증 기반 SHAP 값을 수집하였다. 각 데이터셋에 대해 평균 AUC 0.96~0.99의 높은 성능을 보였으며, CLE‑SH는 모든 데이터셋에서 통계적으로 유의한 피처와 상호작용을 성공적으로 추출했다. 특히 연속형 피처에 대해 비선형(예: 제곱) 관계를 발견하거나, 이진형 피처 간에 유의한 차이를 밝혀내는 등, 기존 시각화 기반 분석에서는 놓치기 쉬운 인사이트를 제공한다.

강점으로는 (1) 통계 검정을 자동화해 재현성을 높이고, (2) 피처 타입에 맞는 맞춤형 분석 흐름을 제공하며, (3) 결과를 자연어로 요약해 비전문가 접근성을 향상시킨다. 한계는 현재 SHAP 값 자체가 모델·데이터에 따라 변동성이 크다는 점을 완전히 해결하지 못한다는 점이며, 라이브러리가 XGBoost 외의 모델에 대해 동일한 성능을 보장한다는 검증이 부족하다. 또한, 통계 검정의 다중 비교 보정 방법이 명시적으로 구현되지 않아, 대규모 피처 집합에서 거짓 양성률이 상승할 가능성이 있다.

전반적으로 CLE‑SH는 SHAP 해석에 통계적 엄밀성을 도입하고, 자동화·시각화·텍스트 보고서 생성을 통합한 최초의 종합 툴이라 할 수 있다. 향후 다양한 모델·데이터 타입에 대한 확장과 다중 검정 보정, 그리고 LLM 기반 설명과의 연계가 이루어진다면, 의료·생명과학 분야에서 AI 결과 해석의 표준 도구로 자리매김할 잠재력이 크다.

**