디리클레 프로세스 혼합 일반화 선형 모델

초록

DP-GLM은 디리클레 프로세스(DP)를 이용해 일반화 선형 모델(GLM)들을 혼합함으로써 연속·범주형 입력과 다양한 형태의 반응 변수를 동시에 다룰 수 있는 비모수 회귀 방법을 제시한다. 저자는 회귀 평균 함수 추정치의 점근적 무편향성을 보장하는 조건을 증명하고, 이 조건이 연속적인 밀도와 범주형 응답을 포함한 여러 실제 모델에 어떻게 적용되는지를 설명한다. 실험에서는 CART, 베이지안 트리, 가우시안 프로세스 등 최신 비모수 회귀 기법과 비교해 DP-GLM이 다양한 데이터셋에서 일관된 성능 우위를 보임을 확인한다.

상세 분석

DP-GLM은 디리클레 프로세스(DP)를 베이스 측정으로 삼아, 각 클러스터에 일반화 선형 모델(GLM)을 할당하는 혼합 모델 구조를 채택한다. 이때 DP의 비모수적 특성은 클러스터 수를 데이터에 따라 자동으로 조정하게 하여, 사전 정의된 모델 복잡도 없이도 복잡한 비선형 관계를 포착한다. 저자는 먼저 DP-GLM의 확률적 생성 과정을 수식으로 정리하고, 관측된 데이터 ((x_i, y_i))에 대한 사후 예측 분포를 Gibbs 샘플링 기반의 MCMC 알고리즘으로 추정한다. 핵심 이론적 기여는 회귀 평균 함수 (\hat{m}(x)=\mathbb{E}