단일 모델 XAI를 넘어 다중 모델 설명 집계로 신뢰성 향상

초록

본 논문은 k‑최근접 이웃, 랜덤 포레스트, 신경망 등 서로 다른 세 종류의 모델에서 도출한 특징 중요도 설명을 정규화 후 평균을 취해 하나의 집계 설명을 만들고, 이를 근접 이웃 기반의 견고성 지표와 결합해 설명의 신뢰성을 평가한다. 실험 결과, 다중 모델 집계가 개별 모델보다 설명의 일관성과 견고성을 높이며, 고위험 분야에서 AI 시스템의 전반적인 신뢰성을 강화할 가능성을 보여준다.

상세 분석

이 연구는 XAI 분야에서 흔히 간과되는 “설명의 견고성”을 핵심 연구 질문으로 설정하고, 이를 해결하기 위해 두 가지 전략을 제시한다. 첫 번째는 서로 다른 학습 패러다임을 가진 모델(k‑NN, Random Forest, Neural Network)에서 동일한 형태의 특징 중요도(Feature Attribution)를 추출하도록 새로운 알고리즘을 설계한 점이다. k‑NN의 경우, 예측 클래스와 반대 클래스의 최근접 이웃 집합에 대한 평균 거리 차이를 이용해 특징별 기여도를 계산하고, 이를 L2 정규화한다. Random Forest는 각 트리의 의사결정 경로에서 사용된 노드의 불순도(impurity)를 누적해 두 개의 벡터(e_c, e_¬c)를 만든 뒤, 클래스 확률에 가중치를 곱해 최종 중요도 벡터를 도출한다. 신경망은 기존 DeepLIFT을 사용하되, 다른 두 모델과 비교 가능하도록 정규화한다.

두 번째 전략은 이렇게 얻어진 세 개의 설명 벡터를 단순 산술 평균으로 집계하는 방법이다. 평균은 개별 설명 간의 부호 불일치를 자연스럽게 억제하면서, 어느 한 모델이 특정 특징에 대해 불확실(절댓값이 작은)할 경우에도 전체 설명에 과도한 영향을 주지 않는다. 또한, 집계 과정에서 예측 클래스가 서로 다를 경우, 반대 클래스에 대한 설명의 부호를 반전시켜 동일 클래스 기준으로 비교 가능하도록 설계하였다.

견고성 평가는 기존 연구