시각 설명을 위한 Owen 기반 계층적 SHAP OShap

초록

O‑Shap은 이미지와 표형 데이터에 대해 기존 SHAP이 갖는 독립성 가정을 보완하기 위해, 의미론적 분할을 이용한 계층 구조를 동적으로 생성하고 Owen 값을 적용한다. 제안된 T‑property을 만족하는 새로운 세그멘테이션 방법은 그룹 간 일관성을 보장하며, 이를 통해 계산 복잡도를 다항식 수준으로 낮추면서도 속성 정확도와 의미적 일관성을 크게 향상시킨다. 실험 결과는 O‑Shap이 기존 SHAP 변형들보다 높은 정밀도와 더 빠른 실행 시간을 기록함을 보여준다.

상세 분석

본 논문은 SHAP이 픽셀 수준에서 독립성을 전제로 하는 한계에 주목하고, 이를 구조적 의존성을 반영할 수 있는 Owen 값으로 확장한다. 핵심 아이디어는 이미지의 의미적 연관성을 반영한 계층적 그룹화를 사전에 수행함으로써, 그룹 수준에서의 대칭성(Group Symmetry)과 더미(Group Dummy) 공리를 만족시키는 것이다. 이를 위해 저자들은 기존의 축축형 분할(AA‑SHAP)과 SLIC 기반 초픽셀 분할이 의미적 일관성을 위배한다는 점을 이론적으로 증명하고, 새로운 세그멘테이션 파이프라인을 제안한다. 이 파이프라인은 (1) 엣지 검출을 통해 거친 레이어를 생성하고, (2) 그래프 기반 병합을 통해 세밀한 레이어를 점진적으로 구축한다. 병합 과정에서 사용되는 가중치는 사전 학습된 모델의 어트리뷰션을 반영한 “어트리뷰션‑어웨어” 엣지 가중치이며, 이는 그룹 간 상호작용을 정량화한다. 가장 중요한 공리인 T‑property은 모든 상위 그룹이 하위 그룹들의 합집합과 동일한 의미적 구성을 유지함을 보장한다; 즉, 상위 레벨에서의 분할이 하위 레벨의 분할을 포함하도록 설계된다.

Owen 값의 수식은 두 단계의 평균을 포함한다. 첫 번째 평균은 그룹 레벨에서 가능한 순열을 고려하고, 두 번째 평균은 각 그룹 내부에서 픽셀 순열을 고려한다. 이중 평균 구조는 기존 SHAP이 요구하는 2^|N| 복잡도를 |G|·|N|^2 수준으로 낮춘다. 논문에서는 복잡도 분석을 통해 최악의 경우 O(|N|^3)까지 감소함을 증명한다.

실험에서는 5개의 이미지 데이터셋(CIFAR‑10, ImageNet‑subset 등)과 1개의 표형 데이터셋을 사용해 7가지 SHAP 변형(Kernel SHAP, TreeSHAP, Causal SHAP 등)과 비교한다. 평가 지표는 (1) 속성 정밀도(ground‑truth mask와의 IoU), (2) 의미적 일관성(그룹 경계와의 정렬도), (3) 실행 시간, (4) 사용자 설문 기반 해석 용이성, (5) 모델‑불변성 등을 포함한다. O‑Shap은 모든 지표에서 평균 12‑18%의 성능 향상을 보였으며, 특히 복잡한 배경을 가진 이미지에서 그룹 경계가 정확히 맞춰져 시각적 해석이 크게 개선되었다. 또한, 표형 데이터에서도 변수 간 상관 구조를 반영한 그룹화가 변수 중요도 순위의 안정성을 높였다.

한계점으로는 (1) 세그멘테이션 단계가 이미지 해상도에 따라 선형적으로 비용이 증가한다는 점, (2) 현재 구현이 CNN 기반 모델에 최적화돼 있어 트랜스포머와 같은 비전 모델에 대한 일반화 검증이 부족하다는 점을 언급한다. 향후 연구에서는 멀티‑모달 데이터와 비정형 그래프 구조에 대한 확장 가능성을 탐색하고, 자동 T‑property 검증 알고리즘을 도입해 계층 설계의 자동화를 목표로 한다.