연속시간 확률미분방정식 파라미터 추정의 통계와 딥러닝 비교

초록

본 논문은 Ornstein‑Uhlenbeck 과정의 드리프트와 변동성 파라미터를 추정하기 위해 전통적인 최대우도추정(MLE)과 LSTM 기반 순환신경망(RNN)을 비교한다. 실험 결과, RNN은 θ(드리프트) 추정에서 더 높은 정밀도를 보였지만 σ²(변동성) 추정에서는 MLE에 비해 편향과 분산이 크게 증가하였다. 또한 계산 비용 측면에서 MLE은 최적화 단계에서 시간이 많이 소요되는 반면, RNN은 학습 후 추론이 매우 빠르다.

상세 분석

이 연구는 연속시간 확률미분방정식(SDE) 중 가장 대표적인 Ornstein‑Uhlenbeck(OU) 과정을 대상으로 파라미터 추정 방법을 체계적으로 비교한다. 먼저 OU 과정의 수학적 정의와 해석적 특성(가우시안, 마코프성, 정상성)을 정리하고, 전이밀도에 기반한 로그우도식을 유도한다. 로그우도는 θ와 σ²가 동시에 등장하므로, θ는 수치 최적화가 필요하고 σ²는 폐형식 해를 이용해 초기값을 얻을 수 있다. 저자는 일반적인 최적화 흐름을 세 단계로 구성한다. ① 일반화 모멘트법(GMM)으로 초기값을 추정하고, ② BFGS와 같은 1차 최적화 알고리즘으로 지역 최적화를 수행하며, ③ 전역 최적화가 어려운 경우 베이신‑홉핑(basin‑hopping)으로 다중 시작점을 탐색한다. 이러한 하이브리드 전략은 복잡한 우도곡면에서도 수렴성을 확보한다는 장점이 있다.

딥러닝 쪽에서는 2‑layer LSTM 네트워크에 ELU 활성화와 완전연결 출력층을 결합한 구조를 설계한다. 입력은 500 타임스텝(길이 500)의 샘플 경로이며, 각 경로는 정규화된 후 네트워크에 투입된다. 손실 함수는 Huber loss를 사용해 작은 오차는 MSE처럼, 큰 오차는 MAE처럼 처리하도록 설계했으며, θ와 σ²의 스케일 차이를 보정하기 위해 가중치 wθ=1, wσ²=0.5를 적용하였다. 학습은 ADAM 옵티마이저로 100 epoch, 배치 크기 128, 학습률 0.001로 진행되었으며, 2 GB GPU 환경에서도 충분히 수렴한다.

성능 평가에서는 네 개의 파라미터 조합(강한/약한 평균 복귀, 고/저 변동성)을 사용해 20 000개의 시뮬레이션 경로를 생성하였다. MLE은 평균 108 초, GPU 메모리 531 MB를 소모했으며, 베이신‑홉핑 단계가 전체 시간의 대부분을 차지한다. 반면 RNN은 학습에 2시간 15분, 추론에 8초, 평균 메모리 사용량 63 MB에 불과했다. 결과 표를 보면, θ 추정에서는 RNN이 MLE보다 평균 절대 오차와 표준편차가 작아 정밀도가 높지만, σ² 추정에서는 특히 변동성이 높거나 낮은 경우 RNN이 큰 편향과 높은 분산을 보이며 MLE에 비해 열악한 성능을 나타낸다. 이는 RNN이 비선형 매핑에 강하지만, 변동성이라는 스케일이 큰 파라미터를 학습하기 위해서는 더 풍부한 데이터와 복잡한 모델이 필요함을 시사한다.

또한 저자는 실험 환경을 저사양 GPU와 제한된 메모리로 설정함으로써, 연구자들이 별도 고성능 장비 없이도 재현 가능하도록 배려하였다. 그러나 RNN의 일반화 능력 검증이 부족하고, 파라미터 조합이 제한적이라는 점은 향후 연구 과제로 남는다. 전체적으로 이 논문은 전통적인 통계적 추정법과 최신 딥러닝 기반 추정법을 동일한 데이터셋과 평가 지표로 비교함으로써, 각각의 강점과 한계를 명확히 제시한다.