신뢰할 수 있는 설명 혹은 무작위 잡음

초록

본 논문은 SHAP, Integrated Gradients 등 기존 XAI 기법이 작은 입력 변동·특징 중복·모델 업데이트·분포 이동 등 현실적인 비적대적 변화에 대해 설명이 크게 달라지는 문제를 지적한다. 이를 해결하기 위해 네 가지 신뢰성 공리를 기반으로 설명 안정성을 정량화하는 Explanation Reliability Index(ERI)를 제안하고, 시간 연속 모델을 위한 ERI‑T와 다양한 스트레스 테스트를 포함한 ERI‑Bench 벤치마크를 구축한다. 실험 결과, 대부분의 기존 설명 기법이 신뢰성에서 크게 부족함을 보이며, 의존성 기반 방법이 상대적으로 높은 신뢰성을 나타낸다.

상세 분석

이 논문은 설명 가능 인공지능(XAI) 분야에서 ‘신뢰성’이라는 아직 충분히 정의되지 않은 차원을 체계화한다는 점에서 학술적·실무적 의의가 크다. 먼저 저자들은 설명이 ‘신뢰할 수 있다’는 조건을 네 가지 공리(A1~A4)로 명시한다. A1은 입력에 작은 비적대적 노이즈가 가해졌을 때 설명 벡터가 리프시츠 연속성을 만족하며 변동이 제한돼야 함을 요구한다. 이는 기존 SHAP·IG 등이 실제 데이터의 미세한 센서 오차에 민감한 점을 지적한다. A2는 특징 간 중복(예: 섭씨·화씨) 상황에서 설명이 동일한 의미적 정보를 반영하도록 ‘붕괴 일관성’을 가져야 함을 규정한다. 여기서 저자들은 붕괴 연산자를 정의하고, α→1(완전 중복)일 때 설명 차이가 0에 수렴하도록 수학적 한계를 제시한다. A3은 모델이 재학습·미세조정 등으로 파라미터가 미세하게 변할 때 설명이 급격히 달라지지 않아야 함을 의미한다. 이를 위해 설명 드리프트 Δ에 대한 단조 감소 함수 ψ를 도입해, Δ→0이면 신뢰도 점수 ERI→1이 되도록 보장한다. A4는 데이터 분포가 자연스럽게 이동할 때(예: 계절 변화) 설명이 동일한 확률적 특성을 유지하도록 워서스테인-1 거리와 설명 함수의 리프시츠 상수를 이용해 상한을 제시한다.

이 네 공리를 정량화한 것이 Explanation Reliability Index(ERI)이다. ERI는 각 공리별 서브스코어(ERI‑S, ERI‑R, ERI‑M, ERI‑D)를 계산하고, 필요에 따라 가중 평균을 통해 단일 신뢰성 점수를 산출한다. 특히 시계열·연속 모델을 위한 ERI‑T는 시간 축에서 설명의 변동성을 측정하는 새로운 메트릭으로, 모델 출력의 스무스함과는 독립적으로 설명 자체의 연속성을 평가한다.

이론적 기여 외에도 저자들은 ERI‑Bench라는 벤치마크를 구축한다. 벤치마크는 합성 데이터(특징 중복·노이즈 주입), 실제 시계열 데이터(EEG, HAR, 전력 부하 예측) 및 이미지 데이터(CIFAR‑10)를 포함해 네 공리를 각각 스트레스 테스트한다. 실험 결과, SHAP, IG, Gradient×Input 등 전통적 방법은 A1·A2·A3·A4 중 다수에서 신뢰성 점수가 0.5 이하로 낮게 나타났으며, 특히 중복 특징에 대한 붕괴 일관성이 크게 결여된 것으로 드러났다. 반면, Mutual Information, HSIC, MCIR 등 의존성 기반 방법은 전반적으로 0.7~0.85 수준의 높은 ERI 점수를 기록했다.

이 논문은 설명 신뢰성을 기존의 ‘faithfulness’·‘stability’와 구분해 독립적인 평가 차원으로 제시함으로써, XAI 도구 선택 시 새로운 기준을 제공한다. 또한 ERI를 활용해 모델 체크포인트를 신뢰성 기준으로 선택하거나, 설명이 불안정한 경우 재학습·특징 엔지니어링을 유도하는 실용적 워크플로우를 설계할 수 있다. 다만, ERI가 정의하는 거리 함수 d와 리프시츠 상수 C_E 등에 대한 실제 추정 방법이 복잡하고, 고차원 데이터에서 계산 비용이 크게 증가할 수 있다는 한계도 존재한다. 향후 연구에서는 효율적인 근사 추정 기법과, 신뢰성 점수와 실제 의사결정 성과 간의 정량적 연관성을 탐색하는 것이 필요하다.