SAIG 기반 XAI 평가 방법의 현황과 과제

초록

본 논문은 인공적으로 만든 설명 정답(SAIG)을 활용해 XAI 기법을 객관적으로 평가하는 기존 연구들을 체계적으로 정리하고, 7가지 핵심 특성을 기반으로 새로운 분류 체계를 제시한다. 16개의 이미지 기반 SAIG 데이터셋과 32개의 XAI 기법을 비교 분석한 결과, 평가 방법에 대한 합의가 부족함을 확인하고 향후 표준화 필요성을 강조한다.

상세 분석

이 연구는 XAI 평가가 ‘정답이 없는’ 문제에 직면해 있다는 점을 명확히 짚고, 이를 해결하기 위한 하나의 실용적 접근법으로 SAIG(합성 인공지능 정답) 개념을 도입한다. 저자들은 먼저 XAI 평가를 인간 중심(Human‑grounded)과 기계 중심(Machine‑centered)으로 구분하고, 후자를 중점적으로 탐구한다. 특히, 기계 중심 평가는 설명의 충실도, 강건성 등 정량적 메트릭에 의존하지만, 기존 메트릭이 데이터 분포 변화에 취약하고 ‘검증 불가능성(challenge of unverifiability)’에 시달린다는 비판을 인용한다. 이러한 한계를 극복하기 위해, 설명에 대한 명시적 GT를 제공하는 합성 데이터셋이 필요하다는 논리를 전개한다.

논문은 현재까지 발표된 16개의 이미지 기반 SAIG 데이터셋을 상세히 정리한다. 예를 들어, ‘Toy Color’와 ‘Decoy MNIST’은 색상·위치 정보를 GT로 제공하고, ‘an8Flower’은 파트별 색 변화를 GT 마스크로 활용한다. ‘BAM’, ‘BlockMNIST’, ‘Seneca‑img’, ‘FOCUS’, ‘CLEVR‑XAI’ 등은 객체 삽입·배경 조작을 통해 특정 영역의 중요도를 명시한다. 각 데이터셋은 GT 생성 방식(색상, 위치, 형태, 객체·배경 구분 등)과 실험 설계(단일 클래스 vs 다중 클래스, 이진 vs 다중 라벨)에서 차이를 보이며, 이는 저자들이 제시한 7가지 특성(데이터 유형, GT 형태, 라벨 구조, 난이도 조절, 모델 의존성, 평가 메트릭, 확장 가능성)과 직접 연결된다.

다음으로, 이 SAIG를 이용해 평가된 32개의 XAI 기법을 정리한다. 결과는 사전 설명 가능한(ante‑hoc) 기법이 전체 평가에서 차지하는 비중이 매우 낮고, 대부분이 사후 설명(post‑hoc) 방법임을 보여준다. 이는 사전 설명 가능한 모델이 자체적으로 투명성을 제공하므로 별도 평가가 필요 없다는 저자들의 주장과 일치한다. 또한, 각 SAIG 데이터셋마다 가장 성능이 우수한 XAI 기법이 다르게 나타나, 현재까지 어느 방법이 보편적으로 ‘최선’인지에 대한 합의가 결여돼 있음을 강조한다.

저자들은 이러한 현상을 바탕으로, SAIG 연구가 아직 용어 통일, 데이터셋 표준화, 평가 메트릭 체계화 단계에 머물러 있음을 지적한다. 특히, 동일한 GT 정의라도 구현 방식이 달라 재현성이 떨어지는 경우가 많으며, 데이터셋 규모·복잡도와 모델 훈련 방식이 결과에 미치는 영향을 정량적으로 분석한 연구가 부족하다. 따라서 향후 연구는 (1) SAIG 데이터셋의 생성 프로세스를 오픈소스로 공개하고, (2) GT 유형별 메트릭을 표준화하며, (3) 다양한 도메인(텍스트, 표형 데이터)으로 확장하는 것이 필요하다고 제안한다.

전반적으로, 이 논문은 SAIG 기반 XAI 평가라는 새로운 패러다임을 체계적으로 정리하고, 현재 연구의 한계와 향후 발전 방향을 명확히 제시함으로써, XAI 커뮤니티가 객관적이고 재현 가능한 평가 프레임워크를 구축하는 데 중요한 이정표를 제공한다.