조건부 지역 중요도와 분위수 기대값 기반 설명 기법

초록

본 논문은 모델에 독립적인 지역 변수 중요도 측정 방법인 CLIQUE를 제안한다. 기존 LIME·SHAP·ICI가 지역 상호작용을 포착하지 못하고 다중 클래스에 적용하기 어려운 문제를 해결하기 위해, 변수 값을 분위수 그리드로 대체하고 교차 검증 오류 차이를 이용해 중요도를 정의한다. CLIQUE는 변수가 예측에 영향을 주지 않을 경우 중요도를 0으로 반환하고, 변동성이 낮으며 다중 클래스에서도 일관된 해석을 제공한다. 시뮬레이션과 실제 데이터 실험을 통해 기존 방법 대비 편향 감소와 상호작용 탐지 능력이 우수함을 입증한다.

상세 분석

CLIQUE는 지역 변수 중요도를 “예측 오류의 기대값 차이”로 정의한다는 점에서 기존 방법과 근본적으로 차별된다. 구체적으로, 각 관측치 i에 대해 교차 검증(CV)으로 학습된 모델 ˆf를 사용하고, 변수 j의 값을 해당 변수 전체 분포의 M개의 분위수 값으로 순차적으로 교체한다. 교체된 데이터 ˜x_i(j,m)에 대한 CV 예측 오류 L(ˆf(˜x_i(j,m)), y_i)와 원본 오류 L(ˆf(x_i), y_i)의 평균 차이를 V_ij로 계산한다. 이 과정은 무작위 퍼뮤테이션이 아니라 분위수 기반 그리드를 사용함으로써 변동성을 크게 낮추고, 전체 변수 분포를 체계적으로 탐색한다는 장점을 가진다.

이론적으로는 P1(불변 변수에 대해 중요도 0) 를 만족한다. 제안된 정리와 증명에 따르면, 변수 j가 예측에 전혀 영향을 미치지 않을 경우 모든 분위수 대체에서도 예측값이 동일하므로 V_ij=0이 된다. 이는 기존 SHAP·LIME이 종종 불필요한 중요도를 부여하는 현상을 근본적으로 차단한다.

또한 P2(안정성)와 P6(계산 효율)도 강조한다. 분위수 그리드가 고정된 값 집합을 제공하므로 반복적인 무작위 퍼뮤테이션에 비해 샘플 수가 적어도 충분히 정확한 추정이 가능하다. 실험에서는 M=1020 정도면 충분히 수렴함을 보였으며, 이는 ICI·SHAP 대비 23배 빠른 실행 시간을 기록한다.

모델 독립성(P3) 역시 핵심 설계 목표다. CLIQUE는 예측값 자체가 아니라 손실 함수 값을 이용하므로, 회귀, 이진·다중 클래스 분류 등 다양한 문제에 동일한 알고리즘을 적용할 수 있다. 특히 다중 클래스 상황에서 각 클래스별 오류를 별도로 계산함으로써, LIME·SHAP이 필요로 하는 일대다(one‑vs‑all) 변환 없이도 클래스별 중요도를 직접 얻는다(P4).

P5는 지역 중요도를 집계해 전역 혹은 하위 그룹 수준의 해석을 가능하게 한다는 점이다. V 행렬을 평균, 중앙값, 분산 등 통계량으로 요약하면 변수의 전반적 영향과 특정 서브셋에서의 특수한 상호작용을 동시에 파악할 수 있다. 이는 SHAP이 제공하는 “global SHAP”와 유사하지만, 오류 기반이므로 모델 과적합 위험을 감소시킨다.

마지막으로 P7·P8은 오류 기반 접근법의 의미와 검증 데이터 사용을 강조한다. 모델이 학습 데이터에 과적합된 경우, 예측값 기반 중요도는 왜곡될 수 있지만, 교차 검증 오류를 사용하면 일반화 성능에 근거한 중요도를 얻는다. 이는 해석의 신뢰성을 크게 높인다.

실험에서는 AND 게이트, 비선형 상호작용, MNIST 이미지 분류 등 다양한 시나리오를 사용했다. 특히 AND 게이트 실험에서 v2가 특정 임계값 이하일 때 v1의 중요도가 0이 되는 조건부 관계를 정확히 복원했으며, SHAP·LIME은 해당 영역에서 거짓 양성 중요도를 보였다. 다중 클래스 MNIST 실험에서는 각 숫자 클래스별로 중요한 픽셀 영역을 오류 감소 관점에서 해석함으로써, 기존 시각화보다 더 명확한 클래스 특성을 드러냈다. 전반적으로 CLIQUE는 기존 로컬 중요도 기법이 놓치기 쉬운 조건부 상호작용과 불변 변수 식별에 강력한 성능을 보이며, 계산 효율성까지 겸비한 실용적인 도구임을 입증한다.