탭형 데이터 기반 제로샷 샤플리 값 추정 모델 ExplainerPFN

초록

ExplainerPFN은 TabPFN을 기반으로 만든 탭형 데이터 전용 파운데이션 모델로, 모델에 대한 직접 접근 없이 입력 데이터와 예측값만으로 샤플리 값(특징 중요도)을 제로샷으로 추정한다. 합성 구조인과 데이터를 이용해 사전학습하고, 실제 데이터에 대해 기존 SHAP 기반 설명기와 경쟁력 있는 성능을 보인다.

상세 분석

본 논문은 모델 해석 분야에서 가장 널리 쓰이는 샤플리 값 추정이 모델 접근성 제한 상황에서도 가능하도록 하는 새로운 패러다임을 제시한다. 핵심 아이디어는 두 단계로 구성된다. 첫 번째는 TabPFN이 제시한 “synthetic prior‑fitting” 방식을 차용해, 무작위 구조인과(Structural Causal Model, SCM)로부터 생성된 합성 탭형 데이터와 해당 데이터에 대해 학습된 베이스 모델의 정확한(또는 근사) 샤플리 값을 레이블로 사용해 대규모 메타‑학습을 수행한다. 이 과정에서 다양한 DAG 구조, 노이즈 수준, 특성 수, 목표 변수의 이진/다중형태 등을 변형함으로써 모델이 데이터 분포와 특성‑예측 관계 전반에 걸친 일반적인 샤플리 패턴을 학습하도록 설계하였다. 두 번째는 학습된 파라미터를 그대로 활용해, 실제 테스트 데이터셋의 입력 X와 해당 모델의 예측값 ˆY만을 조건으로 받아 각 인스턴스별 특징 중요도 ˆΦ를 출력하는 제로샷 추론기를 구현한다. 여기서 사용된 트랜스포머 인코더는 (x_i, ˆy_i) 쌍을 토큰화해 행‑열 양방향 어텐션을 적용함으로써 인스턴스 간 상관관계와 전역적인 특성‑예측 패턴을 캡처한다. 특히, 입력 행렬에서 ˆy_i와 각 특성 x_{j,i}를 항상 첫 두 열에 배치하도록 재정렬함으로써, 모델이 “첫 두 열 → 해당 특성 중요도”라는 일관된 매핑을 학습하도록 유도하였다.

학습 목표는 샤플리 값의 연속적인 범위를 K개의 이산 버킷으로 양자화하고, 각 버킷에 대한 확률 분포 p(˜ϕ_{j,i}=b_k|…)를 예측하도록 하는 NLL 기반 손실(NLPD)을 최소화하는 것이다. 이 접근법은 예측 정확도뿐 아니라 불확실성 추정까지 제공한다는 장점을 가진다. 또한, 샤플리 값이 갖는 대칭성·효율성·선형성 등 공리적 특성을 손실에 직접 반영하거나 후처리 단계에서 정규화함으로써, 모델 출력이 이론적으로 타당한 샤플리 형태에 가까워지도록 설계하였다.

실험에서는 (1) 합성 데이터에서 DAG 구조 복원 정확도, (2) 공개된 UCI·OpenML 실 데이터에서 기존 SHAP 기반 설명기(예: KernelSHAP, TreeSHAP)와의 상관계수·RMSE 비교, (3) few‑shot 설정(2~10개의 실제 SHAP 레이블)과의 성능 격차를 평가하였다. 결과는 ExplainerPFN이 2개의 레퍼런스 샘플만으로도 높은 피드백을 보이며, 제로샷 상황에서도 few‑shot 서브스티튜트 모델에 근접하거나 경우에 따라 능가함을 보여준다. 특히, 모델 접근이 전혀 불가능한 API‑형태 서비스나 프라이버시‑제한 환경에서 사전 학습된 파운데이션 모델만으로도 실시간 설명을 제공할 수 있다는 실용적 의미가 크다.

한계점으로는 (i) 합성 데이터에 의존한 사전학습이 실제 도메인 특유의 복잡한 비선형 관계를 완전히 포착하지 못할 가능성, (ii) 현재는 이진 분류에 초점을 맞추었으며 다중 클래스·회귀 문제에 대한 확장 필요성, (iii) 버킷 수 K와 토큰화 방식에 따른 성능 변동성이 존재한다는 점을 언급한다. 향후 연구에서는 더 다양한 SCM‑생성 규칙, 멀티태스크 학습, 그리고 샤플리 외의 다른 게임이론 기반 설명 기법(예: Banzhaf)까지 포괄하는 통합 파운데이션 모델을 탐색할 여지가 있다.