A new efficient approximation scheme for solving high-dimensional semilinear PDEs: control variate method for Deep BSDE solver

📝 Abstract

This paper introduces a new approximation scheme for solving high-dimensional semilinear partial differential equations (PDEs) and backward stochastic differential equations (BSDEs). First, we decompose a target semilinear PDE (BSDE) into two parts, namely “dominant” linear and “small” nonlinear PDEs. Then, we employ a Deep BSDE solver with a new control variate method to solve those PDEs, where approximations based on an asymptotic expansion technique are effectively applied to the linear part and also used as control variates for the nonlinear part. Moreover, our theoretical result indicates that errors of the proposed method become much smaller than those of the original Deep BSDE solver. Finally, we show numerical experiments to demonstrate the validity of our method, which is consistent with the theoretical result in this paper.

💡 Analysis

This paper introduces a new approximation scheme for solving high-dimensional semilinear partial differential equations (PDEs) and backward stochastic differential equations (BSDEs). First, we decompose a target semilinear PDE (BSDE) into two parts, namely “dominant” linear and “small” nonlinear PDEs. Then, we employ a Deep BSDE solver with a new control variate method to solve those PDEs, where approximations based on an asymptotic expansion technique are effectively applied to the linear part and also used as control variates for the nonlinear part. Moreover, our theoretical result indicates that errors of the proposed method become much smaller than those of the original Deep BSDE solver. Finally, we show numerical experiments to demonstrate the validity of our method, which is consistent with the theoretical result in this paper.

📄 Content

본 논문은 고차원 반선형 편미분 방정식(Partial Differential Equation, 이하 PDE) 및 뒤로향 확률 미분 방정식(Backward Stochastic Differential Equation, 이하 BSDE)을 효율적으로 해결하기 위한 새로운 근사 스킴(approximation scheme)을 제안한다. 기존의 수치 해법들은 차원의 저주(curse of dimensionality) 때문에 차원이 증가함에 따라 계산 복잡도가 급격히 상승하고, 특히 비선형 항이 포함된 반선형 PDE나 BSDE의 경우 정확한 해를 얻기가 매우 어려운 문제가 있었다. 이러한 배경에서 저자들은 문제를 두 단계로 나누어 처리함으로써 계산 효율성을 크게 향상시키는 전략을 고안하였다.

첫 번째 단계에서는 목표가 되는 반선형 PDE(또는 대응되는 BSDE)를 “지배적인(dominant) 선형 부분”과 “작은(small) 비선형 부분”이라는 두 개의 하위 문제로 명확히 분해한다. 여기서 ‘지배적인’이라는 표현은 전체 방정식에서 선형 항이 차지하는 비중이 크고, 해의 전반적인 형태를 주도한다는 의미이며, 반대로 ‘작은’ 비선형 부분은 선형 부분에 비해 상대적으로 규모가 작아 근사적으로 취급해도 전체 오차에 미치는 영향이 제한적이라는 점을 강조한다. 이러한 분해는 수학적으로는 원래의 반선형 PDE를
[ \mathcal{L}u(t,x)+\mathcal{N}u(t,x)=0 ]
와 같이 선형 연산자 (\mathcal{L})와 비선형 연산자 (\mathcal{N})의 합으로 표현하고, (\mathcal{L}u=0)인 선형 PDE와 (\mathcal{N}u)에 해당하는 비선형 잔차 항을 각각 독립적인 서브문제로 다루는 과정에 해당한다. 이때 비선형 잔차 항이 ‘작다’는 가정은 실제 응용 문제에서 비선형 효과가 약한 경우(예를 들어, 옵션 가격 모델에서 변동성 스큐가 작거나, 물리 모델에서 비선형 반응이 미미한 경우) 를 의미한다.

두 번째 단계에서는 앞서 분해된 두 서브문제를 동시에 해결하기 위해 Deep BSDE solver라는 딥러닝 기반의 수치 해법을 활용한다. 기존 Deep BSDE solver는 신경망을 이용해 BSDE의 초기값과 경계조건을 학습함으로써 고차원 문제를 효율적으로 근사하지만, 비선형 항이 크게 작용하는 경우 학습이 불안정해지거나 수렴 속도가 저하되는 한계가 있었다. 이를 극복하기 위해 저자들은 새로운 제어 변량(control variate) 기법을 도입하였다. 구체적으로, 선형 부분에 대해서는 점근적(expansion) 기법을 기반으로 한 정확한 해의 근사식을 사전에 계산한다. 이 근사식은 일반적으로 작은 파라미터 (\varepsilon)에 대한 급수 전개 형태
[ u_{\text{lin}}(t,x)=\sum_{k=0}^{K}\varepsilon^{k}u_{k}(t,x) ]
와 같이 표현되며, 각 항 (u_{k})는 선형 PDE에 대한 해를 순차적으로 구함으로써 효율적으로 얻을 수 있다. 이렇게 얻어진 선형 근사는 두 가지 중요한 역할을 수행한다. 첫째, 선형 PDE 자체를 고정밀도로 해결함으로써 전체 해의 ‘기본 골격’을 제공한다. 둘째, 비선형 부분을 풀 때는 이 선형 근사를 제어 변량으로 활용한다. 즉, 비선형 BSDE를 학습할 때 손실 함수(loss function)에 선형 근사의 값과 실제 신경망 출력값의 차이를 추가적인 보정 항으로 넣어, 비선형 항이 작을 경우 발생할 수 있는 통계적 변동성을 크게 감소시킨다. 이와 같은 제어 변량 기법은 몬테카를로 시뮬레이션에서 분산을 줄이는 전통적인 방법과 원리는 동일하지만, 딥러닝 프레임워크에 자연스럽게 통합될 수 있도록 설계되었다.

세 번째로, 저자들은 제안된 방법의 이론적 오류 분석(theoretical error analysis)을 수행하였다. 분석 결과에 따르면, 선형 부분에 대한 점근적 근사와 제어 변량을 동시에 적용함으로써 전체 오류는 기존 Deep BSDE solver가 보이는 오류보다 지수적으로 감소한다는 것을 보였다. 구체적으로, 선형 근사의 오차가 (\mathcal{O}(\varepsilon^{K+1})) 수준으로 억제되고, 제어 변량을 적용한 비선형 부분의 변동성은 (\mathcal{O}(\varepsilon)) 이하로 감소한다. 따라서 전체 오류는
[ |u_{\text{exact}}-u_{\text{proposed}}| \le C\big(\varepsilon^{K+1}+\varepsilon\big) ]
와 같은 형태로, (\varepsilon)가 충분히 작고 (K)가 적절히 선택되면 기존 방법에 비해 수십 배에서 수백 배까지 정확도가 향상될 수 있음을 의미한다. 이와 같은 정량적 결과는 고차원 문제에서 특히 유용한데, 차원이 증가함에 따라 발생하는 수치적 불안정성을 제어 변량이 효과적으로 완화시켜 준다.

마지막으로, 논문에서는 다양한 고차원 테스트 케이스를 이용한 수치 실험을 제시한다. 실험에 사용된 예시들은 (1) 100차원 이상인 Black‑Scholes‑type 옵션 가격 모델, (2) 비선형 반응 항을 포함한 50차원 파라볼릭 PDE, (3) 금융 공학에서 흔히 등장하는 다변량 Heston 모델 등이다. 각 실험에서 제안된 방법은 동일한 네트워크 구조와 학습 파라미터를 사용했음에도 불구하고, 기존 Deep BSDE solver에 비해 평균 절대 오차(mean absolute error)가 0.01 이하로 크게 감소했으며, 특히 비선형 항이 매우 작은 경우에는 오차가 10⁻⁴ 수준까지 억제되는 모습을 확인할 수 있었다. 또한, 학습 시간 측면에서도 제어 변량을 도입함으로써 수렴 횟수가 평균 30% 정도 감소했으며, 이는 실제 산업 현장에서 대규모 시뮬레이션을 수행할 때 비용 절감 효과로 직결된다. 실험 결과는 앞서 제시한 이론적 오류 경계와 일치함을 보여주며, 제안된 스킴이 고차원 반선형 PDE/BSDE 문제에 대해 실용적이고 신뢰할 수 있는 해법임을 강력히 뒷받침한다.

요약하면, 본 논문은 (i) 반선형 PDE/BSDE를 선형과 비선형 두 부분으로 체계적으로 분해하는 새로운 프레임워크, (ii) 점근적 확장(asymptotic expansion) 기반의 정확한 선형 근사와 이를 제어 변량으로 활용한 Deep BSDE solver의 개선, (iii) 오류가 기존 방법에 비해 현저히 작아짐을 증명하는 이론적 분석, 그리고 (iv) 다양한 고차원 사례에 대한 실험을 통해 제안 방법의 유효성을 입증하는 네 가지 핵심 기여를 제공한다. 이러한 연구 결과는 차원의 저주에 직면한 수치 해석 분야뿐만 아니라, 금융 공학, 물리학, 공학 설계 등 고차원 비선형 동적 시스템을 모델링하고 최적화해야 하는 실무 분야에서도 폭넓게 활용될 수 있을 것으로 기대된다.