비선형·비정규 상태공간 모델을 활용한 혁신적 페어 트레이딩

초록

**
본 논문은 두 자산 가격 차이를 관측되지 않는 상태 변수로 모델링하고, 비선형 평균회귀와 비정규·이분산 혁신을 허용하는 상태공간 프레임워크를 제시한다. 필터링된 스프레드를 거래 신호로 활용하며, 몽테카를로 시뮬레이션 기반 최적 거래 규칙을 도출한다. 실증에서는 PEP‑KO, EWT‑EWH 및 미국 주요·소형 은행 5대씩의 모든 조합에 적용해 기존 방법 대비 연간 수익률과 샤프 비율을 크게 개선함을 확인한다.

**

상세 분석

**
이 연구는 기존 페어 트레이딩 모델이 갖는 두 가지 한계를 극복한다. 첫째, 전통적인 오스틴‑울런벡(OU) 모델은 선형 평균회귀와 정규분포 혁신을 전제로 하는데, 실제 금융 데이터는 급격한 변동, 꼬리 위험, 변동성 클러스터링 등을 보인다. 저자는 상태공간식 (1)‑(2)에서 스프레드 xₜ를 비선형 함수 f(xₜ;θ)와 이분산 계수 g(xₜ;θ)·ηₜ 로 기술하고, ηₜ 를 학생‑t, 일반화 오류 분포 등으로 확장한다. 이를 통해 (i) 비대칭·두꺼운 꼬리, (ii) 조건부 이분산, (iii) 비선형 복귀력을 동시에 포착한다.

두 번째 핵심은 추정 방법이다. 비선형·비정규 상태공간에서는 전통적인 칼만 필터가 적용되지 않으므로, 저자는 ‘Quasi‑Monte Carlo Kalman Filter’를 제안한다. Gaussian mixture 로 비정규 밀도를 근사하고, Halton 시퀀스를 이용해 샘플링 효율을 높이며, 반복적인 예측‑업데이트 과정을 통해 스프레드의 필터링 평균 (\bar{x}_t)와 파라미터 ψ 를 최대우도법으로 추정한다. 이 절차는 수렴 속도가 빠르고, 고차원 비선형 모델에서도 안정적인 추정이 가능함을 실험적으로 입증한다.

거래 전략 측면에서는 기존의 ‘경계 기반’ 전략(A, B)과 새롭게 제안한 전략을 비교한다. 전략 A는 스프레드가 상·하 경계 U, L 에 도달하면 즉시 포지션을 열고, 평균 C 에 돌아오면 청산한다. 전략 B는 경계 교차 시 포지션을 전환하며, 포지션 유지 기간이 길어지는 특성을 가진다. 저자는 이러한 고전 전략에 비해, 비정규·이분산 특성을 활용해 ‘스프레드 변동성 가중’ 진입·청산 규칙을 설계하고, 최적의 U, L 값을 Monte Carlo 시뮬레이션으로 탐색한다. 시뮬레이션에서는 기대 누적 수익, 샤프 비율, Calmar 비율 등 다양한 목표 함수를 적용해 규칙을 맞춤형으로 도출한다.

실증 결과는 두 부분으로 나뉜다. 첫 번째는 대표적인 두 페어(PEP‑KO, EWT‑EWH)에서 연간 수익률이 각각 21.86 %와 31.84 %에 달했으며, 샤프 비율은 2.95와 3.89로 기존 OU‑Gaussian 모델(수익률 13.11 %·14.80 %, 샤프 1.10·1.13)보다 현저히 우수했다. 두 번째는 NYSE 상위·하위 5대 은행 간 모든 가능한 조합(총 10 C 2 = 45쌍)에 적용한 결과, 거의 모든 쌍에서 수익률과 샤프 비율이 개선되었으며, 특히 소형 은행 간 페어가 변동성이 커서 더 높은 알파를 제공한다는 흥미로운 현상을 발견했다.

이 논문은 (1) 비선형·비정규 상태공간 모델을 페어 트레이딩에 적용한 이론적 프레임워크, (2) Quasi‑Monte Carlo 기반 필터링 및 파라미터 추정 알고리즘, (3) 시뮬레이션 기반 최적 거래 규칙 설계, (4) 실증을 통한 성과 검증이라는 네 축을 통해 기존 방법론의 한계를 뛰어넘는 실용적 솔루션을 제공한다. 다만, 모델 복잡도와 계산 비용이 증가함에 따라 실시간 고빈도 트레이딩 적용 시 최적화가 필요하고, 파라미터 안정성에 대한 추가적인 검증이 향후 연구 과제로 남는다.

**