자기흥분 호크스 과정과 이산시간 MDP를 통한 특이정지 제어 근사

초록

본 논문은 자기흥분 호크스 과정을 구동으로 하는 특이-정지 혼합 제어 문제를 연속시간 변분 PDE와 이산시간 마코프 결정 과정(MDP)으로 모델링하고, 적절한 시간·스케일 재조정을 통해 두 모델의 가치 함수가 수렴함을 증명한다. 이를 오르스틴‑우렌벡(OU) 과정에 적용해 전력 설비 투자와 사이버 위협 완화 문제를 시뮬레이션으로 검증한다.

상세 분석

논문은 먼저 연속시간 프레임워크에서 특이 제어와 정지를 동시에 허용하는 최적화 문제를 설정한다. 상태 변수는 확률 미분 방정식(SDE)으로 기술되며, 드리프트와 확산 항 외에 자기흥분 호크스 점프가 포함된다. 호크스 점프는 과거 발생에 비례해 현재 강도가 증가하는 구조를 가지며, 지수형 커널을 채택해 강도 과정 λₜ가 자체적으로 마코프성을 유지하도록 설계된다. 이때 제어는 두 부분으로 나뉜다. (1) 절대연속적인 제어 ξᶜₜ는 일반적인 가속도 조절을 의미하고, (2) 유계 변동을 갖는 특이 제어 ξˢₜ는 순간적인 투입(예: 설비 증설 또는 사이버 방어)으로 모델링된다. 두 제어 모두 비감소성을 만족한다는 제약이 있다.

연속시간 문제는 변분 해석을 통해 해밀턴‑자코비‑벨만(HJB) 방정식으로 변환된다. 특이 제어가 존재하므로 전통적인 HJB는 gradient constraint 형태의 변분 불평등으로 변한다. 구체적으로, 가치 함수 V(t,x,λ)는
 ∂ₜV + ℒV + min_{u∈U}{cᵣ(u)+∇V·g(u)} = 0,
 V ≥ G (정지 보상)와 ∇V·e ≤ κ (특이 제어 한계) 조건을 동시에 만족한다. 여기서 ℒ는 확산·점프 연산자, cᵣ는 연속 제어 비용, G는 정지 시 보상, κ는 특이 제어 비용 파라미터이다. 논문은 viscosity solution 개념을 도입해 존재와 유일성을 증명하고, 정지 경계와 특이 제어 경계가 자유 경계 문제로 나타나는 점을 강조한다.

이산시간 근사는 연속시간 SDE를 Δt 간격으로 시간 이산화하고, 호크스 점프 강도를 Euler‑Maruyama 방식과 독립적인 포아송 샘플링을 결합해 근사한다. 핵심은 “시간 재스케일링” 절차로, Δt→0 일 때 이산시간 가치 함수 Vⁿ와 연속시간 V 사이의 차이가 O(Δt) 이하임을 보이는 것이다. 이를 위해 (i) 상태 공간을 유계 영역으로 제한하고 반사 경계 조건을 부여해 tightness를 확보하고, (ii) 연속시간 제어를 이산시간 정책으로 매핑하는 “ε‑optimal” 변환을 구성한다. 주요 정리는 두 단계 수렴을 보인다. 첫 단계는 MDP가 제어된 SDE에 대한 weak convergence을 만족한다는 것이고, 두 번째 단계는 변분 PDE 해의 연속성에 의존해 가치 함수의 균등 수렴을 보인다. 결과적으로, 이산시간 최적 정책은 연속시간 문제의 ε‑optimal 해가 된다.

응용 사례로, OU 과정에 호크스 점프와 특이 제어를 결합한 모델을 제시한다. OU는 전력 설비의 온도·부하 변동을, 호크스 점프는 사이버 공격 발생을, 특이 제어는 급격한 설비 증설 혹은 방어 시스템 가동을 의미한다. 논문은 파라미터를 실제 사이버 공격 데이터에 맞춰 캘리브레이션하고, Monte‑Carlo 시뮬레이션을 통해 이산시간 정책이 연속시간 최적 정책에 근접함을 실증한다. 수치 결과는 정지 경계(투자 포기 시점)와 특이 제어 경계(즉시 방어 가동 시점)가 어떻게 변하는지를 시각화하며, 정책의 민감도 분석도 제공한다.

이 연구는 (1) 자기흥분 점프가 포함된 특이 제어 문제를 변분 PDE로 정형화, (2) MDP 기반 이산시간 근사가 강력한 수렴 특성을 가짐을 이론적으로 증명, (3) 전력·사이버 위험 관리라는 실용적 도메인에 적용해 실험적 검증을 수행했다는 점에서 학문적·실무적 기여가 크다. 특히, 비마코프ian 점프 강도를 가진 시스템에서도 전통적인 MDP 근사가 유효함을 보여, 향후 복합 위험 관리, 금융 시스템, 네트워크 보안 등 다양한 분야에 확장 가능성을 시사한다.