개별 분류 결정에 대한 직관적 설명 방법

본 논문은 현대 머신러닝 모델이 제공하는 “블랙 박스” 예측을 인간이 이해할 수 있는 형태로 변환하는 방법을 제시한다. 먼저 베이즈 최적 분류기(g*)를 가정하고, 각 입력 x에 대해 현재 예측 라벨과 반대되는 클래스의 조건부 확률을 x에 대해 미분한 벡터 ζ(x)를 “설명 벡터”로 정의한다. 이 벡터는 d 차원의 입력 공간과 동일한 차원을 가지며, 각 차원의 크기와 부호를 통해 해당 특성이 현재 라벨을 유지하거나 바꾸는 데 얼마나 기여하는지를 직관적으로 보여준다. 확률적 모델, 특히 Gaussian Process Classification(GPC)을 중심으로 설명 벡터를 구하는 구체적 절차를 제시한다. GPC는 커널 기반 베이지안 회귀를 이용해 클래스 확률 p(x)=P(Y=1|X=x)를 추정한다. 사후 평균 f(x)와 분산 var f(x)를 구한 뒤, erfc 함수와 체인 룰을 이용해 ∇p(x)를 계산한다. RBF 커널을 사용하면 ∇f(x)와 ∇var f(x) 모두 훈련 샘플과의 거리·가중치에 대한 간단한 식으로 표현되므로, 실제 구현이 비교적 용이하다. 비확률적 모델에 대해서는 파르젠 윈도우(Parzen window) 기반 밀도 추정 방법을 도입한다. 훈련 데이터에서 각 클래스별로 커널 밀도 추정 ˆpσ(x|y=c)를 구하고, 베이즈 규칙을 적용해 가상의 클래스 확률 ˆpσ(y=c|x)를 만든다. 이후 ∇ˆpσ(y≠g(x)|x)를 계산하면 비확률적 모델에 대한 설명 벡터 ˆζ(x)를 얻을 수 있다. 이 과정은 SVM, k‑NN, 신경망 등 다양한 분류기에 적용 가능하다. 실험에서는 세 가지 주요 사례를 다룬다. 첫 번째는 Iris 데이터셋에 k‑NN 분류기를 적용하고, 각 샘플에 대한 설명 벡터를 시각화해 꽃잎·꽃받침 길이·폭이 어떻게 개별 샘플을 구분하는지를 보여준다. 두 번째는 USPS 손글씨 데이터에서 SVM을 이용해 “2”와 “8”을 구분하고, 설명 벡터가 두 숫자 사이의 미세한 픽셀 차이를 강조함으로써 인간이 이해하기 쉬운 형태의 해석을 제공한다. 세 번째는 약물 발견 분야의 Ames 돌연변이 데이터에 GPC 기반 설명 벡터를 적용, 독성을 유발하는 특정 작용기(예: 아민, 할로겐)의 영향을 도메인 전문가와 비교 검증하였다. 결과는 모델이 제시한 설명이 화학적 지식과 일치함을 보여, 실무에서의 활용 가능성을 시사한다. 논문의 마지막 부분에서는 기존 연구와의 차별점, 설명 벡터가 0이 되는 경우(예: 결정 경계가 평탄하거나 확률이 1에 가까운 경우)와 같은 한계, 그리고 고차원·다중 클래스 상황에서의 계산 효율성 문제를 논의한다. 향후 연구 방향으로는 설명 벡터의 정규화, 샘플 간 상호작용을 고려한 설명, 그리고 실시간 인터랙티브 해석 시스템 구축 등을 제안한다.