무작위 변곡점이 있는 마코프 관측 시계열의 최적 정지 전략

초록

세 개의 동질 마코프 구간이 무작위 길이와 변곡 시점으로 연결된 관측열을 고려한다. 각 구간의 전이확률은 알려져 있으며, 변곡 시점에 대한 사전분포가 주어진다. 논문은 (1) 변곡 시점에 혹은 그 사이에서 멈추는 문제와 (2) 변곡을 즉시 탐지하는 문제를 최적 정지 이론으로 재구성하고, 최적 의사결정 규칙의 형태를 제시한다.

상세 분석

본 논문은 관측 과정이 세 개의 동질 마코프 체인으로 구성되고, 각 체인의 지속시간이 확률적으로 결정되는 “무작위 변곡점(random disorder)” 모델을 제시한다. 구간 i(i=1,2,3)의 전이 행렬 P_i는 사전에 완전히 알려져 있으나, 변곡 시점 τ_1, τ_2는 독립적인 확률분포를 갖는 랜덤 변수이며, τ_1≤τ_2, τ_1,τ_2∈{0,1,2,…} 로 정의된다. 특히 τ_1과 τ_2가 동일하거나 0일 수도 있다는 점은 구간이 겹치거나 사라질 가능성을 허용한다는 의미이며, 이는 기존의 “고정된 구간 수” 모델과 근본적으로 차별화되는 특징이다.

관측열 X_0,X_1,…는 초기 상태 X_0가 주어지고, 이후 각 시점 n에 대해 현재 구간에 해당하는 전이 행렬 P_{k(n)}에 따라 한 단계 전이된다. 여기서 k(n)=1 if n<τ_1, k(n)=2 if τ_1≤n<τ_2, k(n)=3 if n≥τ_2. 변곡 시점 직전의 상태는 다음 구간의 초기 상태가 되므로, 관측열은 연속성을 유지한다.

논문은 두 가지 최적 정지 문제를 설정한다. 첫 번째는 “정지 시점 T가 변곡 시점 τ_1,τ_2 사이에 위치하도록” 하는 문제로, 손실 함수 L(T,τ)=c·|T−τ|+g·1_{T<τ} 와 같은 형태를 가정한다. 여기서 c는 지연 비용, g는 조기 정지에 대한 벌칙이다. 목표는 사전분포와 관측된 경로를 이용해 기대 손실을 최소화하는 정지 규칙 T*를 찾는 것이다. 두 번째는 “변곡을 즉시 탐지”하는 문제로, 이는 고전적인 순서 통계량(예: 누적 로그우도비) 기반의 순시 검정과 유사하지만, 변곡 구간이 무작위 개수라는 점에서 새로운 복합 최적화가 필요하다.

수학적으로는 베이즈 위험을 최소화하는 동적 계획법(Bellman equation)을 도입한다. 상태공간은 현재 관측값과 사후 확률 π_n(τ_1,τ_2|X_0,…,X_n) 로 구성된다. π_n는 관측열이 주어졌을 때 각 변곡 시점 조합이 실제일 확률을 나타내며, 전이 행렬과 사전분포를 이용한 베이즈 업데이트 식으로 계산된다. 최적 정지 경계는 π_n이 특정 임계값 γ을 초과하거나, 기대 손실이 현재 정지 비용보다 작아지는 시점에서 정의된다.

특히, 변곡 시점이 두 개이므로 π_n는 2차원 확률분포이며, 이를 효율적으로 계산하기 위해 논문은 “분리 가능한 사전분포”와 “마코프성 유지”라는 두 가지 가정을 활용한다. 첫 번째 가정 하에서는 π_n를 τ_1과 τ_2에 대한 독립적인 마진으로 분해할 수 있어 계산 복잡도가 O(n) 로 감소한다. 두 번째 가정은 각 구간의 전이 행렬이 서로 독립적이므로, 관측열의 조건부 확률을 구간별 로그우도합으로 표현할 수 있게 만든다.

결과적으로, 첫 번째 문제에 대한 최적 정지 규칙은 “π_n(τ_1≤n<τ_2) 가 γ_1 을 초과하면 정지” 혹은 “π_n(n≥τ_2) 가 γ_2 를 초과하면 정지” 와 같은 두 단계 임계값 정책으로 요약된다. 두 번째 문제에서는 “누적 로그우도비가 사전 정의된 상한을 초과하면 변곡을 선언” 하는 형태가 최적임이 증명된다. 논문은 또한 이러한 정책이 기존 고정 구간 모델에서 도출된 정책과 비교했을 때, 변곡 시점이 불확실한 상황에서 더 보수적인(즉, 늦게 정지) 경향을 보이며, 기대 손실이 현저히 감소함을 시뮬레이션으로 확인한다.