마코프 체인 차수 추정과 상대 엔트로피

초록

본 논문은 f‑다이버전스(상대 엔트로피)를 이용해 마코프 체인 샘플의 의존성을 정량화하고, 이를 기반으로 로컬·글로벌 의존성 수준(LDL, GDL)을 정의한다. 두 지표를 활용한 새로운 차수 추정기를 제안하고, AIC·BIC와의 모의실험을 통해 정확도와 안정성을 검증한다.

상세 분석

논문은 먼저 f‑다이버전스, 특히 Kullback‑Leibler 발산을 ‘다양성 측도’로 채택하고, 그 기본 성질(비음성, 영점 특성, 체인 규칙 등)을 정리한다. 마코프 체인의 차수를 추정하려면 관측된 전이 확률 행렬이 실제 모델과 얼마나 차이가 나는지를 정량화해야 하는데, 기존 방법들은 주로 로그우도 기반의 AIC·BIC에 의존한다. 저자는 이러한 한계를 극복하기 위해 두 단계의 의존성 지표를 도입한다.

첫 번째 지표인 Local Dependency Level(LDL)은 길이 k 의 부분 문자열에 대한 경험적 전이 확률과 이론적 전이 확률 사이의 f‑다이버전스를 계산한다. 구체적으로, 관측된 빈도 N(i₁,…,i_k) 와 조건부 확률 P(i_k|i₁,…,i_{k‑1}) 를 이용해
\