섹터 변동성 예측 성능 비교: GARCH 모델과 인공신경망

초록

본 연구는 2005‑2020년 미국 주식 시장 데이터를 활용해 저·중·고 변동성 프로파일을 가진 다섯 개 섹터에 대해 세 가지 GARCH 모델과 세 가지 인공신경망(ANN) 구조의 변동성 예측 성능을 비교한다. 결과는 저변동성 자산에는 ANN이, 중·고변동성 자산에는 GARCH 모델이 더 우수함을 보여, 투자·리스크 관리 시 모델 선택에 실용적인 가이드를 제공한다.

상세 분석

이 논문은 변동성 예측 분야에서 오래된 확률적 모델인 GARCH와 최근 각광받는 딥러닝 기반 인공신경망(ANN)의 상대적 효용을 체계적으로 검증한다. 데이터는 2005년부터 2020년까지의 일일 종가를 사용해 5개 섹터(기술, 금융, 헬스케어, 에너지, 소비재)로 구분했으며, 각 섹터 내 종목들을 연간 변동성 평균으로 저·중·고 3개의 프로파일로 라벨링하였다.

GARCH 측면에서는 표준 GARCH(1,1), 비대칭성을 반영한 EGARCH(1,1), 그리고 레버리지 효과를 포함한 TGARCH(1,1) 세 가지 사양을 적용했다. 각 모델은 최대우도법(MLE)으로 추정하고, 잔차의 정규성·자기상관 검정을 통해 적합성을 확인하였다.

ANN 측면에서는 (1) 다층 퍼셉트론(MLP) – 입력에 과거 10일의 로그수익률과 변동성, 은닉층 2개(각 64노드)와 ReLU 활성화, (2) 순환 신경망(RNN) – LSTM 셀 2층(각 50유닛)으로 시계열 의존성을 포착, (3) 1‑차원 합성곱 신경망(CNN) – 3개의 Conv1D 레이어와 풀링 레이어를 결합해 특징 추출을 강화한 구조를 사용했다. 학습은 Adam 옵티마이저와 0.001의 학습률, 조기 종료(Early Stopping) 전략을 적용해 과적합을 방지하였다.

성능 평가는 평균제곱오차(RMSE), 평균절대오차(MAE), 그리고 예측된 변동성의 방향성 정확도(Accuracy of Direction) 세 지표로 수행했으며, 5‑fold 교차검증을 통해 결과의 안정성을 확보했다.

주요 결과는 다음과 같다. 저변동성 프로파일(예: 소비재 섹터)에서는 MLP와 LSTM이 GARCH 모델보다 평균 12% 낮은 RMSE를 기록했으며, 특히 비대칭성을 고려한 EGARCH보다도 우수했다. 이는 저변동성 구간에서 비선형 패턴과 미세한 구조를 포착하는 ANN의 강점이 반영된 것으로 해석된다. 반면 중·고변동성 프로파일(예: 기술·에너지 섹터)에서는 EGARCH와 TGARCH가 일관되게 낮은 RMSE와 MAE를 보였으며, ANN은 급격한 변동성 급등 시 과소평가 경향을 보였다. 이는 GARCH가 조건부 이분산성을 명시적으로 모델링하고 레버리지 효과를 반영함으로써 극단 상황을 더 정확히 추정하기 때문이다.

또한, 모델 선택에 따른 경제적 의미도 검증했다. 저변동성 자산에 ANN 기반 예측을 적용한 포트폴리오의 샤프 비율은 GARCH 기반 대비 평균 0.15 포인트 상승했으며, 중·고변동성 자산에 GARCH를 적용한 경우 VaR(99%) 초과율이 0.8% 포인트 감소하는 등 위험 관리 측면에서도 차별화된 효과가 확인되었다.

이러한 결과는 변동성 수준에 따라 모델링 접근법을 달리해야 함을 시사한다. 저변동성 구간에서는 데이터의 비선형성 및 복합 패턴을 포착할 수 있는 딥러닝 구조가 유리하고, 변동성이 크고 비대칭적인 경우에는 전통적인 GARCH 계열이 여전히 강력한 도구임을 보여준다. 향후 연구에서는 하이브리드 모델(예: GARCH 잔차를 ANN에 입력)이나 변동성 클러스터링을 고려한 다중 모델 앙상블을 통해 두 접근법의 장점을 결합하는 방안을 탐색할 필요가 있다.