고에너지 물리학을 위한 밀도 추정 트리

본 논문은 고에너지 물리학(HEP) 분야에서 다차원·다중 피크 데이터의 비모수 밀도 추정을 위한 새로운 방법인 ‘밀도 추정 트리(DET)’를 소개한다. 서론에서는 기존의 커널 밀도 추정(KDE)이 높은 차원과 대규모 데이터에서 계산 비용이 크게 증가한다는 문제점을 지적하고, 트리 기반 접근법이 이러한 한계를 극복할 수 있음을 제시한다. 알고리즘 섹션에서는 DET의 기본 구조와 수학적 정의를 설명한다. 데이터 공간을 리프(leaf)라 불리는 초입방형 셀로 분할하고, 각 리프에 포함된 엔트리 수 N(leaf)와 부피 V(leaf)를 이용해 밀도 추정값 ˆf(x)=∑_{leaf} N(leaf)/(N_tot·V(leaf))·I_leaf(x) 를 계산한다. 트리 성장 단계에서는 통합 제곱 오차(ISE)를 근사한 비용 함수 R_simple을 최소화하도록 리프를 반복적으로 두 개의 서브리프(L,R)로 분할한다. 분할은 잎의 최소 엔트리 수(N_min)와 차원별 최소 폭 t(m)이라는 정지 조건에 의해 제어되며, 이는 과적합을 방지하고 물리적 해상도와 일치하도록 설계된다. 가지치기 단계에서는 정규화 파라미터 α와 복잡도 함수 C(node)를 도입해 정규화 오류 R_α=node∑R(leaf)+α·C(node)를 정의한다. 각 노드에 대해 α_i = (R(node)−∑R(leaf))/C(node) 라는 임계값을 계산하고, 품질 함수 Q(α)=−R_LOO(α) 혹은 Q_ker(α)=−∫(f_α^2−f_k^2)dx 를 이용해 최적 α_best를 선택한다. LOO 교차 검증은 모든 엔트리를 하나씩 제외하고 트리를 재학습해야 하므로 비용이 prohibitive하므로, 삼각형 커널을 이용한 Q_ker(α) 를 제안해 계산량을 N_tot·N_leaf에서 N_leaf 수준으로 크게 감소시킨다. 평가 단계에서는 DET가 생성하는 급격한 경계가 물리적으로 비현실적일 수 있기에 두 가지 스무딩 방법을 제시한다. 첫 번째는 삼각형 형태의 해상도 함수와 컨볼루션을 수행하는 ‘스미어링’이며, 이는 경계를 부드럽게 만들면서도 계산 효율을 유지한다. 두 번째는 2차원에서만 적용 가능한 선형 보간법으로, Delaunay 삼각분할을 이용해 리프 중심값을 연결해 연속적인 밀도 곡면을 만든다. 다차원으로 확장하려면 고차원 하이퍼볼륨과 복잡한 테셀레이션이 필요해 현재는 제한적이다. 성능 평가에서는 단일 코어 C++ 구현을 기준으로 CPU 시간을 측정한다. 트리 성장·가지치기·교차 검증 전체 과정은 N_leaf·N_tot 복잡도를 가지며, 리프 폭 제한을 적절히 두면 N_tot에 대해 거의 선형에 가까운 확장성을 보인다. 실험적으로 LHCb의 D⁰→Kπ 데이터(수백만 엔트리)를 사용해 DET와 KDE를 비교했으며, DET는 훈련·평가 시간이 KDE보다 1~2 orders of magnitude 빠르면서도 신호 피크와 배경을 정확히 모델링했다. 특히, 큰 샘플에서는 KDE가 N_tot^2에 비례해 급격히 느려지는 반면, DET는 리프 수가 데이터 규모에 따라 적절히 조절돼 효율적인 연산이 가능했다. 응용 사례에서는 LHCb 마스터클래스 데이터셋을 이용해 D⁰ 신호와 무작위 배경을 동시에 추정하고, DET 기반 밀도 모델을 활용해 신호 효율과 배경 비율을 빠르게 계산하는 방법을 제시한다. 이와 같이 DET는 전통적인 KDE가 비효율적인 대규모 HEP 분석 단계에서 데이터 모델링, 효율 추정, 배경 보정 등에 실용적인 대안을 제공한다. 결론적으로, DET는 빠른 학습·평가와 커널 기반 교차 검증, 스무딩 기법을 결합해 고에너지 물리학에서 대규모 다변량 데이터의 비모수 밀도 추정을 효과적으로 수행한다. 향후 다차원 보간 및 병렬 구현을 통해 더욱 확장된 적용이 기대된다.