학습과 설계를 위한 동적 트리

본 논문은 복잡한 응답면을 가진 회귀 및 분류 문제에 대해, 데이터를 순차적으로 수집하는 온라인 환경에서 효율적으로 학습할 수 있는 ‘동적 회귀 트리(Dynamic Regression Tree)’ 모델을 제안한다. 전통적인 CART나 BART와 같은 정적 트리 모델은 사후 탐색을 위해 MCMC와 같은 배치 방식의 샘플링이 필요하고, 새로운 데이터가 추가될 때마다 전체 모델을 재학습해야 하는 비효율성이 있다. 이를 극복하기 위해 저자들은 트리 자체를 시간에 따라 변하는 상태 변수 T_t 로 정의하고, 새로운 관측치 x_t 가 들어올 때마다 트리 구조를 ‘stay(유지)’, ‘prune(가지치기)’, ‘grow(분할)’ 중 하나의 로컬 연산으로 업데이트한다. 이러한 전이 확률 p(T_t|T_{t-1},x_t) 은 CGM(Chipman‑George‑McCulloch) 사전과 결합되어 트리의 전반적인 복잡도에 대한 규제를 유지하면서도 데이터에 국한된 작은 변화를 허용한다. 입자 학습(particle learning) 프레임워크는 각 입자를 (트리 구조, 리프 통계량) 쌍으로 구성한다. 새 데이터가 도착하면 각 입자는 가능한 전이(세 가지 움직임) 중 하나를 시뮬레이션하고, 해당 리프의 충분통계량을 갱신한다. 이후 관측가능도(리프별 주변우도)의 곱을 이용해 입자 가중치를 계산하고, 재샘플링 단계에서 전역 불확실성을 반영한다. 이 과정은 MCMC와 달리 순차적이며, 매번 전체 트리 공간을 탐색할 필요가 없으므로 연산 복잡도가 O(N) 수준으로 크게 감소한다. 리프 모델은 세 가지 형태로 제공된다. 첫째, 상수 평균 모델은 리프 내 데이터가 충분히 많을 때 평균과 분산을 충분통계량으로 요약한다. 둘째, 선형 평균 모델은 각 리프에서 선형 회귀를 수행하되, 베이지안 사전을 이용해 사후 평균과 공분산을 닫힌 형태로 얻는다. 셋째, 다항식(멀티노미얼) 모델은 분류 문제에 적용되며, 디리클레 사전으로 클래스 비율을 추정한다. 모든 경우에 사후 예측분포는 트리 구조가 주어졌을 때 분석적으로 계산 가능하므로, 입자 필터링 단계에서 파라미터 샘플링이 필요 없다는 장점이 있다. 논문은 또한 트리 사후 확률을 이용한 주변우도(marginal likelihood) 추정 방법을 제시한다. 입자 집합의 가중합을 통해 모델 비교와 하이퍼파라미터(α,β) 선택이 가능하다. 실험에서는 전통적인 CART, BART, 그리고 정적 Gaussian Process(GP) 모델과 비교했을 때, 동적 트리가 예측 정확도와 불확실성 추정에서 우수함을 보이며, 특히 순차 설계(활성 학습, 베이즈 최적화) 상황에서 계산 효율성이 크게 개선됨을 확인한다. 구체적인 사례로는 (1) 간단한 1차원 및 2차원 회귀 데이터에 대한 상수·선형 리프 모델 비교, (2) 최적화 목표 함수를 탐색하는 베이즈 최적화 실험, (3) 라벨이 제한된 상황에서의 활성 학습, (4) 온라인 이미지 분류와 같은 다중 클래스 문제에서의 성능 평가가 포함된다. 모든 실험에서 동적 트리는 적은 입자 수(수십 개)만으로도 안정적인 예측과 불확실성 추정을 제공했으며, 실행 시간은 기존 방법의 10% 이하로 감소했다. 결론적으로, 동적 회귀 트리는 (1) 트리 구조를 시간에 따라 점진적으로 변형시키는 명시적 동적 모델, (2) 입자 학습을 통한 효율적인 온라인 베이지안 추론, (3) 리프별 간단한 모델을 통한 폐쇄형 예측, (4) 비정상성, 이분산성 등 복잡한 데이터 특성을 자연스럽게 포착하는 능력을 제공한다. 이러한 특성은 실시간 데이터 스트림, 대규모 시뮬레이션 기반 실험 설계, 그리고 빠른 의사결정이 요구되는 온라인 분류 작업에 특히 유용하다. 향후 연구에서는 다변량 출력, 비축소형 파라미터 공유, 그리고 하이브리드 GP‑트리 모델과의 결합 등을 통해 모델의 표현력을 더욱 확장할 수 있을 것으로 기대된다.