조건부 특징 중요도 재조명: 이중 강건성, 효율성 및 추론

초록

본 논문은 기존의 조건부 특징 중요도(CFI)를 최신 조건부 순열 중요도(CPI)와 연결시키고, 조건부 영가설 하에서 이중 강건성(double robustness) 특성을 증명한다. 또한 CPI를 총 Sobol 지수(TSI)와 연계한 Sobol‑CPI를 제안하여 비모수적 효율성을 확보하고, 편향 보정 및 유효한 유형Ⅰ 오류 검정을 제공한다. 실험을 통해 이론적 결과와 실용적 성능을 검증한다.

상세 분석

조건부 특징 중요도(CFI)는 변수 간 상관관계를 고려한 전통적인 중요도 지표이나, 조건부 샘플링 단계가 실용적인 문제로 취급돼 이론적 분석이 부족했다. 저자들은 최근 제안된 조건부 순열 중요도(CPI)가 CFI의 구현임을 증명하고, 두 단계에서 사용되는 모델(예측 모델 b_m)과 조건부 샘플러 P′j 중 하나만이라도 일관성을 만족하면 영가설(즉, X_j ⟂⊥ Y | X{‑j})을 정확히 탐지할 수 있는 이중 강건성(double robustness) 특성을 제시한다. 이는 기존 LOCO 방식이 두 모델 모두 정확해야 하는 점과 대조된다.

이중 강건성은 다음 두 경우에 성립한다. 첫째, 조건부 샘플러가 진짜 조건부 분포 P*j 에 수렴하고, 예측 모델 b_m이 연속이면 CPI 추정값 \hat ψ{CPI} 은 거의 surely 0에 수렴한다. 둘째, 예측 모델이 “점근적 무관성(asymptotic relevance)”을 만족하면, 샘플러가 일관되지 않아도 CPI는 영가설 하에서 0에 수렴한다. 저자들은 점근적 무관성을 X_j가 영가설일 때 모델 출력이 X_j에 거의 영향을 주지 않는다는 형태로 정의하고, GLM, Lasso, Random Forest, 커널 방법 등 다양한 학습 알고리즘이 이 조건을 만족함을 이론 및 실험적으로 확인한다.

또한, 대안 가설 하에서 CPI가 목표로 하는 양을 총 Sobol 지수(TSI)와 연결한다. TSI는 손실 함수 ℓ 에 대해 전체 모델과 X_{‑j}만 사용한 모델 간 손실 차이로 정의되며, 이는 변수의 예측 기여도를 정량화한다. 기존 PFI는 TSI와 일치하지 않으며, 특히 상관된 변수들 사이에서 편향이 크게 발생한다. 저자들은 CPI에 간단한 보정(bias correction)을 적용해 Sobol‑CPI를 정의하고, 이를 통해 비모수적 효율성(semiparametric efficiency)을 달성한다. Sobol‑CPI는 조건부 샘플링을 유지하면서도 TSI를 직접 추정하도록 설계돼, LOCO와 같은 재학습 기반 방법과 동일한 목표를 갖지만 계산 비용이 크게 낮다.

통계적 추론 측면에서는, 영가설 하에서 영향 함수가 소멸하기 때문에 기존의 점근적 정규성에 기반한 분산 추정이 과소평가될 위험이 있다. 이를 해결하기 위해 저자들은 분산 보정(variance correction) 방법을 제시하고, 샘플러 정확도에 따라 비모수적 유한표본 검정도 설계한다. 이러한 검정은 유형Ⅰ 오류를 정확히 제어하면서도 높은 검정력을 유지한다.

실험에서는 합성 데이터와 실제 유전체·이미지 데이터셋을 사용해 CPI, Sobol‑CPI, LOCO, PFI 등을 비교한다. 결과는 (1) 조건부 샘플러가 적절히 학습된 경우 CPI가 영가설을 거의 완벽히 탐지하고, (2) Sobol‑CPI가 TSI를 편향 없이 추정하며, (3) 제안된 검정이 명시적 유형Ⅰ 오류 제어를 제공함을 보여준다. 특히 고차원·강한 상관 구조를 가진 데이터에서 CPI와 Sobol‑CPI가 LOCO 대비 더 안정적인 변수 선택 성능을 보인다.

전반적으로 이 논문은 조건부 변수 중요도 측정에 대한 이론적 토대를 마련하고, 실용적인 알고리즘 설계와 검정 절차를 동시에 제공함으로써 머신러닝 모델 해석 분야에 중요한 기여를 한다.