TreeGrad Ranker 의사확률값을 활용한 트리 특성 순위 매김

초록

본 논문은 결정 트리의 로컬 예측값을 설명하기 위해 기존의 Shapley·Banzhaf와 같은 확률값을 재검토하고, 삽입·삭제 메트릭을 동시에 최적화하는 새로운 목표 함수를 직접 최적화하는 방법을 제안한다. 핵심은 다중선형 확장의 그래디언트를 O(L) 시간에 계산하는 TreeGrad이며, 이를 기반으로 특성 순위를 생성하는 TreeGrad‑Ranker와 수치적으로 안정적인 Shapley값 계산기인 TreeGrad‑Shap을 설계한다. 실험 결과, 제안 방법이 기존 Linear TreeShap 대비 10^15 배 정도 더 정확하며, 삽입·삭제 메트릭 모두에서 현저히 우수함을 보인다.

상세 분석

이 논문은 두 가지 중요한 관점을 제시한다. 첫 번째는 삽입(Ins)과 삭제(Del) 메트릭을 동시에 최적화하려는 문제를 “특정 부분집합 S를 선택해 f(S)는 최대화하고, 그 여집합은 최소화한다”는 형태의 공동 최적화 문제(식 5)로 재구성한 점이다. 기존의 확률값(Shapley, Banzhaf 등)은 선형성(linearity)이라는 공리를 만족하지만, 저자들은 이 선형성이 바로 위의 공동 목표를 해결하는 데 근본적인 한계가 됨을 Proposition 1을 통해 이론적으로 증명한다. 즉, 선형 연산자는 2^N 차원의 집합 함수 값을 N 차원으로 압축하면서 중요한 차이를 구분하지 못한다는 것이다.

두 번째는 이러한 한계를 극복하기 위해 다중선형 연장의 그래디언트를 직접 계산하는 알고리즘을 제시한다. TreeGrad은 결정 트리의 리프 개수 L에 비례하는 O(L) 시간·공간 복잡도로 그래디언트를 구한다. 이 그래디언트는 가중 Banzhaf 값의 일반화 형태이며, 모든 대칭 반값(semi‑value)이 이 그래디언트 필드의 기대값으로 표현될 수 있음을 정리 1에서 증명한다.

TreeGrad‑Ranker는 그래디언트를 누적하면서 공동 목표 함수를 최적화해 특성 점수를 산출한다. 이 점수는 확률값을 정의하는 모든 공리(대칭, 더미, 단조성)를 만족하지만 선형성은 포기한다. 선형성을 포기함으로써 Proposition 1에서 지적한 “무작위 수준”의 한계를 회피하고, 실제 삽입·삭제 메트릭에서 더 나은 순위를 제공한다.

또한, 기존 Linear TreeShap이 다항식 연산 과정에서 Vandermonde 행렬의 조건수가 매우 커져 수치적 불안정성을 보이는 문제를 지적하고, TreeGrad‑Shap을 통해 동일한 O(L D) 시간 복잡도이면서 10^15 배 정도 작은 절대 오차를 달성한다. 이는 Beta Shapley 값(정수 파라미터)까지 일반화 가능한 안정적인 구현이다.

부가적으로 TreeProb 알고리즘은 Linear TreeShap을 일반화해 모든 확률값을 지원하도록 설계했으며, ill‑conditioned 행렬을 잘 조건화된 행렬로 교체해 깊은 트리에서도 오버플로우를 억제한다.

실험에서는 다양한 공개 데이터셋과 여러 트리 기반 모델(GBDT, 랜덤 포레스트 등)에서 삽입·삭제 메트릭을 모두 측정했으며, TreeGrad‑Ranker가 기존 Shapley 기반 방법보다 평균 12%~18% 정도 향상된 점수를 기록한다. 또한, 수치적 안정성 실험에서 Linear TreeShap은 깊이 20 이상의 트리에서 오차가 폭발하는 반면, TreeGrad‑Shap은 안정적인 결과를 유지한다.

전체적으로 이 논문은 “선형성에 의존하지 않는 확률값 기반 특성 순위”라는 새로운 패러다임을 제시하고, 이론적 한계와 실용적 구현을 동시에 해결함으로써 트리 모델 해석 분야에 중요한 기여를 한다.