베이지안 기울기 트리와 가우시안 프로세스 리프를 이용한 불확실성 인식 외삽

초록

본 논문은 기존 베이지안 기울기 예측 클러스터링 트리(VSPYCT)의 한계를 극복하기 위해 각 리프에 가우시안 프로세스(GP) 회귀기를 부착한다. 오블리크(split) 파라미터의 불확실성을 베이지안 방식으로 모델링하고, 리프 수준에서는 GP를 통해 지역적 함수 형태와 외삽 능력을 제공한다. 입력이 리프의 학습 지원 영역을 벗어나면 게이팅 메커니즘이 GP 기반 예측으로 전환되어 캘리브레이션된 불확실성을 함께 제공한다. 실험 결과, 기존 VSPYCT 대비 예측 정확도와 외삽 성능이 모두 향상됨을 보인다.

상세 분석

본 연구는 두 가지 주요 불확실성 원천을 명시적으로 분리한다. 첫 번째는 트리 구조 자체에서 발생하는 불확실성으로, VSPYCT에서는 오블리크(split) 파라미터 w와 b를 확률 변수로 두고 변분 베이지안 추론을 통해 사후 분포 q(θ) 를 학습한다. 이 접근법은 샘플링 기반 라우팅을 가능하게 하여 입력이 어느 리프로 흐를지에 대한 확률적 해석을 제공한다. 두 번째는 리프 내부의 함수적 불확실성이다. 기존 VSPYCT는 리프에 단일 평균값(프로토타입)만 저장하므로, 훈련 타깃 범위를 초과하는 외삽 상황에서 예측이 평탄해지고 과신하게 된다. 이를 해결하기 위해 저자는 각 리프에 가우시안 프로세스(GP)를 배치한다. GP는 비모수 베이지안 회귀 모델로, 훈련 데이터 Dℓ 에 대해 정확한 사후 평균 μℓ(x) 와 분산 σ²ℓ(x) 를 제공한다. 특히 커널 함수와 하이퍼파라미터를 리프별로 최적화함으로써 지역적 비정상성을 포착한다.

핵심 설계는 “지원 인식 게이팅”이다. 리프 ℓ 의 훈련 입력 집합 Xℓ 에 대해 평균 \bar{x}_ℓ 와 공분산 Σ_ℓ 을 계산하고, 마할라노비스 거리 d(x,ℓ) 를 정의한다. 거리와 사전 설정 임계값 τ 를 이용해 시그모이드 형태의 가중치 w(x,ℓ)=σ((d−τ)/T) 를 구한다. 이 가중치는 입력이 지원 영역 내부이면 w≈0 으로 고정된 프로토타입 \bar{y}_ℓ 을, 외부이면 w≈1 으로 GP 예측을 우선시한다. 온도 파라미터 T 는 전이의 급격함을 조절한다. 이렇게 하면 리프 내부에서 “부드러운 혼합”이 이루어져, 학습 구간에서는 기존 트리의 안정성을 유지하고, 외삽 구간에서는 GP가 제공하는 불확실성 캘리브레이션을 그대로 활용한다.

예측 단계는 M개의 몬테카를로 샘플을 통해 수행된다. 각 샘플마다 변분 사후 q(θ) 에서 파라미터를 추출해 트리를 라우팅하고, 도달한 리프에서 위의 게이팅 식에 따라 μ̂ 와 σ̂² 를 계산한다. 최종 예측은 샘플 평균과 전체 분산(예측 분산 + 샘플 평균의 변동)으로 합산한다. 이 절차는 기존 VSPYCT와 동일한 복잡도 수준을 유지하면서, GP 연산은 리프당 한 번만 수행되므로 전체 연산량이 크게 증가하지 않는다.

이론적 분석에서는 예측 불확실성이 “트리 불확실성 + 리프 함수 불확실성”으로 분해됨을 보이며, 외삽 상황에서 GP의 커버리지가 불확실성 증가와 함께 예측 평균을 자연스럽게 연장한다는 점을 정량화한다. 실험에서는 합성 1D 데이터와 여러 베이스라인 회귀 벤치마크(예: UCI 회귀, 시계열 예측)에서 RMSE와 NLL(Negative Log Likelihood)이 개선되었으며, 특히 훈련 범위를 벗어난 테스트 구간에서 VSPYCT‑GP가 VSPYCT 대비 평균 30% 이상의 NLL 감소와 시각적으로 더 넓은 신뢰 구간을 제공함을 확인했다.

요약하면, 본 논문은 베이지안 오블리크 트리와 가우시안 프로세스 리프를 결합함으로써 트리 기반 회귀 모델의 외삽 한계를 근본적으로 해소하고, 불확실성 정량화를 두 단계(구조·함수)로 명확히 구분한다. 이는 해석 가능성을 유지하면서도 고차원·희소 데이터와 외삽이 중요한 실제 응용 분야(예: 시계열 예측, 생존 분석, 경제 지표)에 직접 적용 가능한 강력한 프레임워크를 제공한다.