그라디언트 기반 결정 트리 학습: 해석성과 성능을 동시에 잡다

초록

본 논문은 경사 하강법과 직통 전파(STRAIGHT‑THROUGH) 연산자를 이용해 하드(경직) 축 정렬 결정 트리를 직접 최적화하는 새로운 프레임워크를 제안한다. 밀집 트리 표현을 통해 모든 노드와 분할 파라미터를 동시에 학습함으로써 전통적인 CART의 탐욕적 한계를 극복하고, 멀티모달·강화학습 등 현대 딥러닝 파이프라인에 자연스럽게 통합한다. 제안 방법은 소규모 표형 데이터부터 복합 멀티모달 태스크, 정보 손실 없는 강화학습까지 다양한 도메인에서 SOTA 성능과 높은 해석성을 동시에 달성한다.

상세 분석

이 연구는 결정 트리 학습의 두 가지 근본적인 제약—(1) 이산적·비미분성으로 인한 탐욕적 분할 선택, (2) 기존 알고리즘이 딥러닝 파이프라인에 쉽게 결합되지 못한다는 점—을 동시에 해결한다. 핵심 아이디어는 ‘밀집(decision tree dense) 표현’이다. 트리의 모든 내부 노드와 리프를 고정된 차원의 텐서에 매핑하고, 각 노드의 축 정렬(split) 조건을 시그모이드·하드스텝 형태의 연산으로 근사한다. 여기서 Straight‑Through (ST) 연산자를 적용해 전방에서는 이산적인 하드 라우팅(예: x_j ≤ θ ? left : right)을 유지하면서, 역전파 단계에서는 연속적인 미분 가능 근사(예: 시그모이드)의 그래디언트를 사용한다. 이렇게 하면 전체 트리 구조가 하나의 연산 그래프가 되며, 파라미터 θ와 리프값을 동시에 경사 하강법으로 최적화할 수 있다.

알고리즘적 측면에서 저자는 기존의 ‘소프트 결정 트리(soft decision tree)’와 차별화한다. 소프트 트리는 각 노드가 확률적 라우팅을 수행해 미분 가능성을 확보하지만, 해석성(특히 하드 라우팅에 기반한 규칙 추출)과 메모리·연산 효율성에서 손해를 본다. 반면 제안 방식은 하드 라우팅을 유지하면서도 역전파를 가능하게 하는 ST 연산자를 도입해, 최종 모델은 전통적인 CART와 동일한 규칙 형태를 제공한다.

또한, 저자는 트리 앙상블(Weighted Tree Ensemble, GRANDE)으로 확장한다. 각 트리마다 인스턴스‑와이즈 가중치를 학습해, 복잡도와 해석성 사이의 트레이드오프를 조절한다. 가중치는 입력 특성에 조건부로 부여되는 스칼라 값이며, L1 정규화와 드롭아웃을 통해 과적합을 방지한다. 이 설계는 기존 부스팅(예: XGBoost)과 달리 개별 트리의 해석성을 손상시키지 않으면서도 성능을 크게 향상시킨다.

실험에서는 (i) 작은 표형 데이터셋(예: Titanic, Iris)에서 기존 CART·C4.5 대비 정확도 3~5% 상승, 트리 깊이와 리프 수는 동일하거나 감소, (ii) 대규모 복합 표형 데이터(예: Adult, Credit)에서 Gradient‑Based 트리와 GRANDE가 LightGBM·CatBoost에 근접하거나 앞선 AUC를 기록, (iii) 멀티모달 이미지‑텍스트 결합 태스크에서 트리 기반 피처 선택기가 CNN/Transformer와 공동 학습되어 전체 파이프라인의 파라미터 수를 30% 절감하면서도 정확도 유지, (iv) 강화학습 환경(Pendulum, MiniGrid)에서 SYMPOL이라는 온‑폴리시 트리 정책이 정보 손실 없이 정책을 압축, 학습 안정성은 PPO·A2C와 동등하거나 우수했다.

이론적 분석에서는 기존 탐욕적 알고리즘이 최적 트리 탐색 공간을 지수적으로 제한하는 반면, 제안 방법은 연속 최적화 공간을 통해 전역적인 파라미터 조정을 가능하게 함을 증명한다. 또한, 미분 가능한 분할 함수들의 비교 실험을 통해 시그모이드, 하이퍼볼릭 탄젠트, 스위시 등 다양한 스무딩 함수가 라우팅 정확도와 그래디언트 흐름에 미치는 영향을 정량화한다.

한계점으로는 (1) 매우 깊은 트리(>20)에서는 ST 연산으로 인한 그래디언트 소실 위험, (2) 하드 라우팅이 데이터 노이즈에 민감해 과적합 가능성, (3) 현재 구현이 CPU‑중심이며 GPU 가속 최적화가 미비함을 언급한다. 향후 연구에서는 (a) 트리 깊이와 가중치 공유를 통한 파라미터 효율화, (b) 스파스 라우팅과 메모리 효율적인 텐서 구조 설계, (c) 자동 하이퍼파라미터 탐색을 통한 최적 스무딩 함수 선택 등을 제시한다.

전반적으로 이 논문은 결정 트리와 딥러닝 최적화 기법을 성공적으로 융합함으로써, 해석 가능한 모델이 요구되는 고위험 분야(의료·금융)와 최신 AI 시스템(멀티모달·RL) 모두에 적용 가능한 범용 프레임워크를 제공한다.