데이터 인식 민감도 분석을 위한 대규모 의사결정 트리 앙상블

초록

본 논문은 결정 트리 앙상블 모델이 특정 특징 집합에 대해 얼마나 민감한지를 검증하는 문제를 다룬다. 기존 방법은 데이터 분포와 동떨어진 반례를 생성해 해석성을 떨어뜨렸으나, 저자들은 반례가 학습 데이터에 가깝도록 제약하는 데이터‑인식 프레임워크를 제안한다. 이를 위해 MILP와 SMT 기반의 새로운 인코딩을 설계하고, 깊이 1의 트리조차도 NP‑hard임을 증명한다. 최적화된 MILP는 단일 및 다중 클래스 앙상블에 모두 적용 가능하며, 800개의 트리(깊이 8)까지 확장성을 보인다. 실험 결과는 기존 최첨단 방법 대비 실행 시간과 반례 품질 모두에서 큰 개선을 보여준다.

상세 분석

본 연구는 ‘특정 특징 집합 F에 대해 모델이 민감한가’를 판별하는 Feature Sensitivity Verification 문제를 공식화하고, 그 복잡도와 실용적 해결책을 동시에 제시한다. 먼저, 저자들은 기존 문헌에서 3‑SAT 기반으로 증명된 NP‑hardness가 깊이 3 이상인 트리에서만 성립한다는 점을 지적하고, 깊이 1(즉, decision stump) 트리조차도 subset‑sum 문제로부터 귀납적으로 NP‑hard임을 새로운 증명으로 보강한다. 이 증명은 각 정수 u_i를 불리언 특징 f_i와 연결하고, 두 개의 보조 트리를 이용해 목표 합 k를 구현함으로써, 민감도 검증이 곧 부분합 문제와 동치임을 보여준다. 따라서 트리 깊이가 최소 1인 경우에도 전역적인 민감도 검증은 다항시간에 해결될 수 없으며, 이는 실무에서의 어려움을 정량적으로 뒷받침한다.

다음으로, 저자들은 기존의 pseudo‑Boolean 인코딩이 데이터‑인식 목표(예: 데이터 분포와의 거리 최소화)를 포함하기 어렵다는 한계를 인식하고, MILP와 SMT를 결합한 새로운 검색 프레임워크를 설계한다. 핵심 아이디어는 두 입력 x^(1), x^(2) 사이의 차이를 제한된 특징 집합 F에만 허용하면서, 동시에 ‘데이터‑근접성’이라는 목적 함수를 정의한다. 이를 위해 (1) marginal distribution의 곱을 이용한 제품‑오브‑마진스(product‑of‑marginals) 목표를 도입하고, (2) 데이터가 희소한 영역을 사전에 차단하는 clause‑sum 기반 제약을 추가한다. 이러한 제약은 MILP 모델에 직접 삽입될 수 있어, 솔버가 탐색 공간을 크게 축소하고, 보다 현실적인 반례를 빠르게 도출한다.

MILP 인코딩 자체도 여러 최적화가 적용된다. 트리별 출력값을 선형화하는 기존 방식은 변수와 제약이 폭발적으로 증가했지만, 저자들은 (a) 트리 구조를 이용한 변수 공유, (b) 불필요한 경로 제거를 위한 전처리, (c) 다중 클래스 상황에서 클래스별 원시 점수(raw score)를 동시에 최적화하도록 설계된 다목적 목표 함수를 도입함으로써 모델 크기를 크게 감소시켰다. 특히 다중 클래스 확장은 기존 연구가 이진 분류에만 국한됐던 점을 넘어, 각 클래스별 raw‑score 차이를 제약조건에 포함시켜, 전체 앙상블이 다중 클래스 환경에서도 정확히 검증될 수 있게 한다.

실험에서는 XGBoost 기반 앙상블(최대 800개 트리, 깊이 8)을 대상으로, 기존 pseudo‑Boolean 및 초기 MILP 구현과 비교하였다. 실행 시간은 평균 10배 이상 단축되었으며, 데이터‑근접성 측면에서는 평균 L2 거리와 KL‑divergence가 기존 방법 대비 30~50% 감소하였다. 또한, 민감도 검증이 불가능하다고 판단된 경우에도, 제시된 최적화된 MILP는 조기 종료 기준을 통해 빠르게 ‘불가능’ 판정을 내릴 수 있었다.

한계점으로는 (1) MILP/SMT 솔버에 대한 의존도가 높아, 솔버 성능에 따라 결과 변동이 클 수 있다는 점, (2) 데이터‑인식 목적 함수가 사전에 정의된 분포(예: 가우시안) 가정에 민감할 수 있다는 점, (3) 매우 고차원(수천 차원) 데이터에서 변수 수가 급증해 메모리 요구량이 증가한다는 점을 들 수 있다. 향후 연구에서는 근사적 SAT‑based 기법과의 하이브리드, 혹은 딥러닝 기반 프루닝 기법을 도입해 스케일을 더욱 확대할 여지가 있다.