설명 가능한 AI는 형식화가 필요하다

초록

이 논문은 현재 XAI(Explainable AI) 방법들이 모델·데이터·입력 간의 실제 인과·통계적 연관성을 포착하지 못한다는 점을 지적한다. 저자는 설명 정확성을 정의하고, 억제 변수(suppressor) 문제를 드러내며, 정량적 평가 기준과 형식적 문제 정의가 필요함을 주장한다.

상세 분석

본 논문은 XAI 연구가 ‘알고리즘‑우선’ 접근에 머물면서, 설명이 실제로 무엇을 의미하는지에 대한 형식적 정의가 부재함을 비판한다. 저자들은 XAI의 대표적 목표인 모델·데이터 진단, 과학적 발견, 개입 목표 식별이 모두 “특징‑목표 간 통계적 연관성”을 전제로 한다고 지적한다. 이를 정량화하기 위해 ‘Statistical Association Property (SAP)’를 도입했으며, SAP는 “비‑제로 중요도 부여된 단일 특징이 목표와 통계적으로 독립이면 안 된다”는 필요조건이다.

두 가지 최소 예시(예제 A, B)를 통해 억제 변수(suppressor)가 어떻게 모델 성능을 향상시키면서도 목표와는 전혀 연관되지 않을 수 있는지를 보여준다. 억제 변수는 다른 유용한 특징과 상관관계가 있어 모델이 이를 이용해 잡음을 제거하거나 예측을 정교화한다. 그러나 기존의 Gradient, LRP, DTD, SHAP, LIME, Integrated Gradients, Counterfactual 등 대부분의 특성‑기여도 방법은 선형 모델에서는 가중치 자체를 반환하고, 억제 변수에도 비‑제로 중요도를 부여한다. 즉, 이들 방법은 SAP를 위반한다.

SAP 위반은 실질적인 위험을 초래한다. 예를 들어, 의료 분야에서 보호 속성(성별·인종 등)에 높은 중요도가 부여되었다고 해서 모델이 실제로 해당 속성을 이용해 예측한다는 의미가 아니다. 모델은 단순히 다른 변수의 변동성을 제거하기 위해 해당 속성을 ‘보정’할 뿐이다. 따라서 전문가 지식과의 검증, 편향 탐지, 인과적 해석 등에 XAI를 활용하려는 시도는 오히려 오해와 잘못된 개입을 초래할 수 있다.

저자는 이러한 문제를 해결하기 위해 (i) 설명 목적에 맞는 형식적 기준을 명시하고, (ii) 합성 데이터와 알려진 ‘ground‑truth’ 설명을 이용해 이론·실험적으로 검증하는 프로세스를 제안한다. 이는 XAI가 하나의 통일된 방법론이 아니라, 사용 사례에 따라 다양한 ‘설명 정확성’ 정의와 객관적 성능 지표를 가져야 함을 의미한다. 결국, XAI는 모델 자체를 설명하는 수준을 넘어 데이터 생성 과정과 인과 구조까지 포괄하는 형식화된 연구가 필요하다는 것이 논문의 핵심 주장이다.