점예측의 함정과 올바른 평가: 스코어링 함수와 기능 일치의 중요성

초록

점예측을 평가할 때 사용되는 오차 측정법(절대오차, 제곱오차 등)은 예측 과제와 스코어링 함수가 사전에 일치하지 않으면 잘못된 결론을 초래한다. 저자는 사전 지정된 스코어링 함수에 대해 베이즈 규칙으로 최적 점예측을 제시하고, 기능(평균, 분위수 등)과 일관된 스코어링 함수가 필요함을 강조한다. 기대값·비율·분위수는 ‘elicitable’(유도가능)하지만, 조건부 위험가치(CVaR)와 같은 일부 기능은 일관된 스코어를 가질 수 없어 평가가 부적절함을 지적한다.

상세 분석

이 논문은 점예측(point forecast)의 생산과 평가 과정에서 흔히 간과되는 ‘스코어링 함수와 예측 과제의 일치’를 체계적으로 조명한다. 전통적으로 연구자와 실무자는 절대오차(|y‑ĥ|)나 제곱오차((y‑ĥ)²)와 같은 단일 손실 함수를 선택하고, 이를 평균해 MAE, MSE, RMSE 등 요약 지표를 산출한다. 그러나 저자는 이러한 관행이 “스코어링 함수가 사전에 지정되지 않은 상태에서” 예측자를 자유롭게 점예측을 내놓게 하면, 실제 최적점예측(Bayes rule)과는 전혀 다른 값이 선택될 위험이 있음을 경고한다.

핵심 개념은 ‘기능(functional)’이다. 예측자는 평균, 분위수, 기대비율 등 특정 통계적 기능을 목표로 점예측을 제공받는다. 이때 스코어링 함수는 그 기능에 대해 ‘일관성(consistency)’을 가져야 한다. 즉, 기대 점수(E