이미지 분류기 위한 인과 기반 설명 기법

초록

본 논문은 이미지 분류기의 블랙박스 모델에 실제 인과론을 적용해 최소한의 픽셀 집합을 설명으로 정의하고, 이를 근사적으로 계산하는 알고리즘을 제안한다. 제안된 도구 ReX는 기존 블랙박스 XAI 기법보다 설명 크기가 작고 실행 시간이 경쟁력 있으며, 삽입·삭제 곡선 등 표준 품질 지표에서도 우수한 성능을 보인다.

상세 분석

논문은 인과 모델링을 이미지 분류 문제에 직접 매핑함으로써 “설명”을 형식적으로 정의한다. 입력 이미지의 각 픽셀을 이진 마스크 변수 V_i 로, 마스크된 이미지가 원본과 동일한 클래스를 출력하는지를 나타내는 출력 변수 O 로 구성한 2‑계층 인과 모델 M_N,x 를 제시한다. 여기서 V_i=1 은 원본 픽셀을 유지, V_i=0 은 사전 정의된 마스크 값(예: 평균 색)으로 대체한다. 설명은 O=1을 유지하면서 O에 영향을 미치는 최소한의 V_i 집합, 즉 최소 원인 집합(minimal cause)으로 정의된다. 실제 인과론의 정의(Halpern 2000)를 그대로 차용했으며, 인과 그래프가 비순환이므로 해석이 단순해진다.

알고리즘은 두 단계로 구성된다. 첫째, 전체 픽셀을 모두 유지한 상태에서 O=1을 확인하고, 둘째, 탐욕적·이진 검색을 통해 불필요한 픽셀을 차례로 제거한다. 제거 과정은 “intervention”을 시뮬레이션해 V_i를 0으로 바꾸고 모델을 재실행함으로써 O가 변하는지를 검사한다. 이때 완전 탐색은 NP‑hard이지만, 논문은 설명 크기의 상한을 ε‑approximation 형태로 보장하는 휴리스틱을 제시한다. 복잡도 분석에 따르면 최악의 경우 O(|P|·T) (|P|는 픽셀 수, T는 모델 추론 시간)이며, 실제 이미지에서는 평균 3~5% 픽셀만 남겨 충분히 빠르게 수렴한다.

실험에서는 ImageNet, VOC2012, ECSSD, 부분 가림 이미지 등 네 가지 벤치마크에 대해 ReX와 기존 블랙박스·화이트박스 기법(Grad‑CAM, LIME, RISE, Integrated Gradients 등)을 비교한다. 실행 시간은 가장 빠른 Black‑Box 기법과 동등하거나 약간 우위이며, 설명 크기는 1% 이하(논문 그림 1)로 가장 작다. 삽입 곡선에서는 높은 초기 정확도를 보이며, 삭제 곡선에서는 낮은 감소율을 기록한다. 저자들은 삭제 곡선이 모델 자체의 강건성 지표일 수 있음을 논의하고, 설명의 품질을 평가할 때는 삽입 곡선과 배경·오클루전과의 교차 비율을 중시한다. 또한, 설명이 너무 작아질 경우 인간이 이해하기 어려워 실용적 한계가 존재한다는 점을 강조한다.

이론적 기여는 (1) 인과론 기반 설명 정의의 정형화, (2) 근사 알고리즘의 수렴·복잡도 증명, (3) 설명 크기의 근사 비율 분석이다. 실용적 기여는 오픈소스 도구 ReX의 제공과, 블랙박스 환경에서도 신뢰할 수 있는 최소 원인 집합을 효율적으로 추출할 수 있다는 점이다.