설명 가능한 AI, 숨은 인과성

본 논문은 XAI 분야가 현재 ‘설명에 대한 정답’이 없다는 전제 아래 파편화된 방법론과 상충되는 평가 지표들로 고통받고 있음을 지적한다. 저자는 이러한 난관이 실제 세계를 지배하는 인과 모델, 즉 구조적 인과 모델(SCM)이 존재함에도 불구하고 이를 탐구하지 않기 때문이라고 주장한다. 먼저, XAI 질문을 목적에 따라 데이터 기반(‘무엇이 데이터를 설명하는가?’), 모델 기반(‘모델은 어떻게 입력을 출력으로 변환하는가?’), 결정 기반(‘특정 결정은 왜 내려졌는가?’)으로 구분하고, 각각을 Pearl의 인과 사다리의 관찰, 개입, 반사실 단계에 매핑한다. 이 매핑을 통해 인과 모델이 존재한다면 모든 XAI 질문에 대한 정답을 도출할 수 있음을 ‘필요충분성’ 논증으로 제시한다. 다음으로 각 카테고리별 기존 방법들을 상세히 검토한다. 데이터 기반에서는 차원 축소, 군집화, 밀도·생성 모델 등이 데이터의 잠재 구조를 드러내지만, 이는 인과적 생성 메커니즘을 추정하는 과정과 겹친다. 모델 기반에서는 부분 의존도, SHAP, LIME, 시각화, 서브시트 모델 등 다양한 특성 기여도와 내부 메커니즘 해석 기법을 소개하고, 이들 중 일부가 지역적 인과 효과를 근사한다는 점을 강조한다. 결정 기반에서는 반사실·대안 설명, 개념 기반 설명 등을 다루며, 반사실 추론이 인과적 원인 규명을 위한 핵심 도구임을 설명한다. 인과성에 대한 배경 지식으로 SCM의 정의와 인과 그래프, 개입(do‑연산) 및 반사실 연산을 정리하고, 인과 모델이 XAI에 어떻게 적용될 수 있는지를 이론적으로 연결한다. 특히, 인과 모델이 없을 때 발생하는 설명의 불안정성, 편향성, 조작 가능성 등을 사례와 함께 비판한다. 마지막으로, 인과 발견과 개념 추출을 통한 고급 인과 모델 구축이 XAI의 궁극적 목표라고 제안한다. 이를 위해 기존 메커니즘 해석 연구와 인과 추상화 연구를 결합하고, 인간이 이해 가능한 수준의 인과 변수로 모델을 요약하는 방법론을 촉구한다. 그러나 구체적인 구현 방안이나 실험적 검증은 제시되지 않아, 향후 연구에서 인과 모델의 학습·검증 파이프라인을 구축하고, 다양한 도메인에 적용해 보는 것이 필요하다고 결론짓는다.