데이터베이스 관점에서 본 결정 트리 추론 플랫폼 비교

초록

본 논문은 RandomForest, XGBoost, LightGBM 등 결정 트리 기반 모델의 추론을 위해 개발된 ONNX, TreeLite, TensorFlow Decision Forest, HummingBird, Nvidia FIL, lleaves와 자체 구현한 인‑데이터베이스 추론 프레임워크 netsDB를 종합적으로 평가한다. 실험 결과, netsDB는 대규모 데이터에 작은 모델을 적용하거나, 소규모 데이터에 모든 규모의 모델을 적용할 때 수백 배에 달하는 속도 향상을 보였다. 특히 관계‑중심 표현과 모델 재사용 최적화 기법이 각각 대형 모델·소형 데이터 상황에서 성능을 크게 끌어올렸다.

상세 분석

이 연구는 결정 트리(Decision Forest) 추론이 데이터베이스 시스템과 어떻게 결합될 수 있는지를 탐구한다는 점에서 의미가 크다. 기존 추론 엔진들은 대부분 메모리‑중심 설계이며, 데이터 로딩·전처리 단계에서 DBMS와의 인터페이스가 부재해 전체 파이프라인의 지연을 초래한다. 논문은 먼저 ONNX, TreeLite(Amazon), TensorFlow Decision Forest(Google), HummingBird(Microsoft), Nvidia FIL, lleaves 등 6개의 외부 프레임워크를 선정하고, 각각이 사용하는 알고리즘(예: 트리 압축, SIMD 벡터화, GPU 병렬화)과 최적화 기법(예: 캐시 친화적 레이아웃, 배치 추론) 등을 정량·정성적으로 분석한다.

그 다음, 저자들은 netsDB라는 인‑데이터베이스 추론 엔진을 설계했다. 핵심 아이디어는 “관계‑중심 표현”(relation‑centric representation)이다. 전통적인 트리 모델은 노드와 엣지를 포인터 기반 구조로 저장해 메모리 접근 패턴이 불규칙하고 캐시 미스를 유발한다. netsDB는 트리 구조를 관계형 테이블 형태로 전사해, SQL 연산을 통해 트리 탐색을 수행한다. 이렇게 하면 기존 DBMS의 고성능 조인·필터링 엔진을 그대로 활용할 수 있어, 특히 대규모 트리(수천~수만 노드)에서 메모리 사용량을 크게 절감하고, 디스크 기반 데이터와의 결합도 자연스럽게 이루어진다.

또 다른 중요한 최적화는 “모델 재사용”(model reuse)이다. 동일한 모델을 여러 쿼리에서 반복 사용하거나, 배치 추론 시 동일 트리를 여러 레코드에 적용할 때, 트리 구조를 한 번만 메모리에 로드하고 여러 스캔에 재활용한다. 이를 위해 netsDB는 트리 메타데이터를 전역 캐시로 관리하고, 추론 연산을 벡터화된 집계 함수 형태로 구현한다. 결과적으로 소규모 데이터셋(수천수만 레코드)에서 기존 프레임워크 대비 10100배, 대규모 데이터셋(수억 레코드)에서는 50~300배의 속도 향상이 관찰되었다.

실험 설계는 모델 규모(작은 모델: ≤10 tree, 중간 모델: 10‑100 tree, 큰 모델: ≥100 tree)와 데이터 규모(소형: ≤10⁵ 레코드, 중형: 10⁵‑10⁷ 레코드, 대형: ≥10⁷ 레코드) 두 축을 교차시켜 18가지 시나리오를 만든 뒤, 각 프레임워크의 전체 파이프라인(데이터 로드 → 전처리 → 추론) 실행 시간을 측정했다. 결과는 netsDB가 “작은 모델 + 대형 데이터”와 “모든 모델 + 소형 데이터” 조합에서 일관되게 최고 성능을 보였으며, 관계‑중심 표현이 큰 모델에서 메모리 압박을 완화하고, 모델 재사용이 작은 데이터에서 오버헤드를 최소화한다는 것을 입증했다.

이 논문은 데이터베이스와 머신러닝 추론을 통합하는 설계 원칙을 제시함으로써, 향후 DBMS에 내장된 AI 서비스(예: 자동화된 신용 사기 탐지, 실시간 추천) 구현에 중요한 지침을 제공한다. 또한, 관계형 엔진의 기존 최적화(인덱스, 파티셔닝, 비용 기반 옵티마이저)를 머신러닝 모델에 직접 적용할 수 있는 가능성을 열어준다.