전체 부분 집합 평균을 이용한 분위수 회귀 예측

초록

본 논문은 전체 부분 집합 평균(Complete Subset Averaging, CSA) 방식을 도입하여 고차원·잠재적 오차 모델 환경에서 분위수 회귀의 예측 정확도를 향상시키는 방법을 제시한다. 모델 가중치를 동일하게 두고, 교차 검증을 통해 최적의 부분 집합 크기 k*를 선택함으로써 기존 가중치 추정 방식보다 계산 효율성과 예측 성능을 동시에 확보한다. 이론적으로는 Lu와 Su(2015)의 결과를 확장해 점별·균일 수렴 및 비정규적 대수적 정상성을 증명하고, Li(1987) 기준의 asymptotic optimality를 입증한다. 또한 시뮬레이션과 실증 분석을 통해 제한된 부분 집합 샘플링에서도 충분한 성능을 보임을 확인한다.

상세 분석

본 연구는 고차원 회귀 환경에서 모든 후보 변수 K가 점차 증가함에 따라, 전통적인 모델 평균화가 직면하는 가중치 추정 불안정성과 모델 선택 편향 문제를 해결하고자 한다. 저자는 ‘전체 부분 집합 평균(Complete Subset Averaging, CSA)’이라는 새로운 프레임워크를 제시한다. 핵심 아이디어는 크기 k인 모든 가능한 변수 조합(=완전 부분 집합)을 대상으로 각각 분위수 회귀를 수행하고, 얻어진 예측값을 단순 평균하는 것이다. 이때 가중치는 모두 1/M으로 동일하게 부여되며, M은 조합 수 K!/(k!(K−k)!)이다.

CSA의 두드러진 장점은 다음과 같다. 첫째, 가중치를 별도로 추정하지 않으므로 추정 과정에서 발생하는 추가적인 샘플 변동성을 회피한다. 이는 Breiman(1996)·Elliott 등(2013) 등에서 평균 회귀에 대해 입증된 ‘bagging’ 효과와 유사하게, 모델 수가 많아질수록 예측 분산이 감소한다는 직관과 일치한다. 둘째, 연구자가 사전에 모델 집합을 설계하거나 가중치 구조를 지정할 필요가 없으며, 완전 부분 집합을 이용함으로써 모든 가능한 변수 조합을 포괄한다. 이는 모델 선택에 따른 주관적 편향을 최소화한다. 셋째, 부분 집합 크기 k를 교차 검증(leave‑one‑out)으로 최적화함으로써, 데이터에 맞는 복잡도 수준을 자동으로 결정한다.

이론적 기여는 크게 두 부분으로 나뉜다. 첫째, Lu와 Su(2015)의 ‘jackknife model averaging(JMA)’ 결과를 일반화하여, 완전 부분 집합 기반 추정량 Θ̂(m,k)가 점별 및 균일 수렴성을 만족하고, 비정규적 한계분포를 갖는다는 것을 증명한다. 여기서 A(m,k)와 B(m,k)라는 두 번째 차원 행렬을 정의하고, 이들의 최소·최대 고유값이 유한하고 양의 상수에 의해 제한된다는 가정(Assumption 2)을 두어 고차원 상황에서도 수렴 속도를 제어한다. 둘째, Li(1987)의 ‘asymptotic optimality’ 기준에 따라, 교차 검증으로 선택된 k̂가 이론적으로 불가능한 최적 k*와 1‑o(1) 차이만을 가진다는 것을 보여준다. 즉, CSA는 예측 위험을 최소화하는 ‘oracle’ 선택과 동등한 asymptotic 성능을 제공한다.

계산 복잡도 측면에서는 전체 조합 수 M이 급격히 늘어날 수 있기에, 저자는 Mmax라는 상한을 두고 무작위 샘플링을 통해 부분 집합을 선택하는 실용적 알고리즘을 제시한다. 이때, 무작위 샘플링이 전체 평균과 동일한 1‑o(1) 수렴 특성을 유지하도록 하는 정규조건을 추가로 제시한다.

실증 부분에서는 Monte‑Carlo 시뮬레이션을 통해, (i) 완전 부분 집합 평균이 기존 JMA·베이지안 평균·리쏘와 비교해 평균 절대 오차(MAE)와 평균 제곱 오차(MSE)에서 우수함을, (ii) 샘플링된 부분 집합(Mmax ≪ M)만 사용해도 성능 저하가 미미함을 확인한다. 또한, 실제 데이터(예: 주가 수익률의 위험 프리미엄, GDP 성장률의 하방 위험) 두 가지 사례에 적용해, CSA가 기존 방법보다 더 안정적인 분위수 예측을 제공함을 입증한다.

결과적으로, 이 논문은 고차원·잠재적 오차 모델에서 ‘동일 가중치 + 완전 부분 집합 평균’이라는 간단하면서도 강력한 전략이, 이론적 최적성 및 실무적 효율성을 동시에 만족한다는 점을 보여준다. 향후 연구에서는 비선형·비정규화된 회귀, 시계열 의존성, 그리고 다중 τ값 동시 예측 등에 CSA를 확장하는 방향이 기대된다.