트리 기반 모델 예측 속도 혁신

초록

본 논문은 이미 학습된 트리 기반 모델을 이용한 예측 단계에서, 메모리 레이아웃을 캐시 친화적으로 재배치하고, 분기 제거 기법인 프레디케이션과 마이크로 배치를 통한 벡터화 기법을 적용함으로써 현대 슈퍼스칼라 프로세서의 성능을 최대한 활용한다. 실험 결과, 전통적인 if‑else 구현 대비 예측 속도가 크게 향상됨을 보인다.

상세 분석

트리 기반 모델은 의사결정 트리와 그 앙상블(예: 랜덤 포레스트, 그래디언트 부스팅) 형태로 웹 랭킹, 광고 클릭 예측, 의료 진단 등 다양한 분야에서 널리 사용된다. 그러나 학습 단계와 달리 실시간 예측에서는 모델을 메모리에서 읽어 들여 순차적으로 노드를 탐색하는 과정이 병목이 된다. 기존 구현은 각 노드마다 조건문(if‑else)과 포인터 역참조를 수행해 CPU 파이프라인을 자주 방해하고, 데이터가 메모리 계층을 비효율적으로 통과하면서 캐시 미스가 빈번히 발생한다.

논문은 이러한 구조적 비효율을 세 가지 축으로 개선한다. 첫째, 캐시 친화적 레이아웃에서는 트리 노드를 메모리 상에 연속적인 배열 형태로 배치하고, 자식 노드 인덱스를 오프셋 형태로 저장한다. 이렇게 하면 트리 탐색 시 연속 메모리 접근이 가능해 L1/L2 캐시 적중률이 크게 상승한다. 둘째, 프레디케이션(predication) 은 전통적인 분기(branch)를 제거하고, 조건식 결과를 마스크(mask) 형태로 계산에 직접 반영한다. 즉, “if (x < threshold) go left else go right” 를 “left_idx = cur_idx2 + mask; right_idx = cur_idx2 + (1‑mask)” 로 변환해 분기 예측 미스와 파이프라인 플러시를 회피한다. 셋째, 벡터화(vectorization) 는 여러 입력 샘플을 동시에 처리하는 마이크로 배치를 도입한다. SIMD 레지스터를 활용해 동일한 트리 레벨의 연산을 한 번에 수행함으로써 연산량을 배치 크기만큼 병렬화한다. 이때 배치 크기는 CPU 코어와 레지스터 폭에 맞춰 자동 조정된다.

핵심 인사이트는 트리 모델이 본질적으로 “조건‑분기” 구조이지만, 실제 하드웨어는 연산 흐름이 연속적이고 분기가 적은 코드를 더 효율적으로 실행한다는 점이다. 따라서 모델을 하드웨어 친화적인 형태로 변환하면, 알고리즘 자체를 바꾸지 않아도 수배에 달하는 속도 향상을 얻을 수 있다. 또한, 이러한 최적화는 모델 압축이나 양자화와 같은 별도 기법과 결합해도 추가적인 이득을 제공한다는 점을 실험을 통해 확인한다.