베이지안 단일지수 모델을 활용한 분위수 회귀

초록

본 논문은 비대칭 라플라스 분포를 이용해 베이지안 분위수 회귀를 구현하고, 가우시안 프로세스 사전분포와 라플라스(베이지안 라쏘) 사전분포를 각각 비선형 링크 함수와 인덱스 벡터에 적용한다. 부분 붕괴(partially collapsed) MCMC 알고리즘을 설계해 링크 함수를 일부 단계에서 적분함으로써 샘플링 효율을 높였으며, 시뮬레이션과 허리케인 데이터 분석을 통해 기존 빈도주의 방법보다 우수함을 입증한다.

상세 분석

이 연구는 단일지수 모델(SIM)의 구조적 장점을 분위수 회귀에 그대로 적용한다는 점에서 의미가 크다. 기존 SIM은 고차원 비선형 회귀를 하나의 선형 조합(인덱스 β)과 단일 비선형 함수 η(·)로 축소함으로써 차원의 저주를 회피한다. 여기서는 τ∈(0,1) 분위수에 대해 Q_{Y|X}(τ)=η(Xᵀβ)라는 모델을 설정하고, 오차를 비대칭 라플라스 분포(ALD)로 가정한다. ALD는 체크 손실 함수와 정확히 일치하는 가능도 형태를 제공하므로 베이지안 추정에 자연스럽게 연결된다.

ALD를 직접 다루는 대신 Kozumi‑Kobayashi(2011)의 위치‑스케일 혼합표현을 이용해 e_i(지수분포)와 z_i(표준정규)라는 잠재변수를 도입한다. 이 변환을 통해 조건부 분포가 정규 형태가 되며, η와 β에 대한 사전분포를 결합한 전체 사후분포를 Gibbs 샘플링으로 탐색할 수 있다.

링크 함수 η는 가우시안 프로세스(GP) 사전분포를 사용한다. 커널 C(x,x′)=γ·exp{−(x−x′)²}를 선택해 매끄러운 함수 공간을 정의하고, β가 단위벡터 제약을 받지 않도록 함으로써 d(범위 파라미터)를 제거한다. 이는 β와 γ 사이의 식별성을 유지하면서 사전설정이 간단해지는 장점이 있다.

β에 대해서는 베이지안 라쏘(Laplace) 사전분포를 채택한다. 이는 L1 정규화와 동일한 형태로, 고차원에서 변수 선택 및 희소성을 자연스럽게 유도한다. 하이퍼파라미터 λ는 감마 사전분포를 두어 완전 베이지안 추정을 가능하게 한다.

MCMC 설계에서 가장 핵심적인 부분은 “부분 붕괴” 전략이다. η를 완전히 적분한 뒤 β, σ, λ, γ 등을 샘플링하면, η와 관련된 고차원 정규분포의 역행렬 계산에서 발생하는 수치적 불안정성을 회피할 수 있다. 특히 C_n 행렬이 거의 특이(singular)해지는 경우에 작은 nugget(ε=10⁻⁵)를 추가해 안정성을 확보한다. 또한, β를 샘플링할 때 η를 적분함으로써 자동 상관이 크게 감소하고, 체인 믹싱이 현저히 개선된다.

시뮬레이션에서는 세 가지 설정(동분산, 이분산, 지수오차)과 다양한 τ값을 대상으로 100번씩 반복 실험을 수행했다. 베이지안 방법(BQSIM)은 기존 커널 기반 빈도주의 방법(QSIM)보다 평균제곱오차(MSE)가 현저히 낮고, 추정된 β와 η의 편향이 작으며, 신뢰구간이 좁다. 특히 τ가 극단(0.1, 0.9)일 때도 안정적인 추정이 가능했다.

실제 데이터(허리케인 강풍 속도) 적용에서는 β가 풍속과 압력의 조합으로 해석되었고, η는 분위수별 풍속 분포를 유연하게 포착했다. 이는 평균 회귀만으로는 드러나지 않는 꼬리 위험을 정량화하는 데 유용함을 보여준다.

전체적으로 이 논문은 베이지안 프레임워크 내에서 단일지수 분위수 회귀를 구현하는 방법론을 체계화하고, 효율적인 MCMC 설계와 실증적 검증을 통해 기존 방법론 대비 명확한 이점을 제시한다. 향후 확장 가능성으로는 다중지수 모델, 비선형 β(예: 신경망) 도입, 그리고 다른 비대칭 손실함수와의 연결이 있다.