마코프 연쇄 차수 추정 방법

초록

**
우리는 가산 알파벳 𝒳 에서 값을 갖는 미지의 정상 과정에 적용될 때, 해당 과정이 k 차 마코프 연쇄이면 거의 확실히 k 에 수렴하고, 그렇지 않으면 무한대로 발산하는 추정량 χₙ(X₀,X₁,…,Xₙ) 을 제시한다.

**

상세 요약

**
이 논문은 확률 과정 이론과 통계적 학습 분야에서 오랫동안 다루어져 온 “마코프 차수(order) 추정” 문제에 새로운 해법을 제시한다. 기존 연구들은 주로 유한 알파벳을 전제로 하거나, 차수를 추정하기 위해 복잡한 모델 선택 기준(AIC, BIC 등)을 사용했다. 그러나 이러한 방법들은 가산 무한 알파벳(예: 자연수, 문자열 등)에서는 적용이 어려우며, 특히 차수가 존재하지 않을 경우(즉, 과정이 마코프가 아닌 경우) 적절한 종료 기준을 제공하지 못한다는 한계가 있다.

본 논문에서 제안된 추정량 χₙ은 관측된 시퀀스 X₀,X₁,…,Xₙ 에 대해 순차적으로 계산 가능한 함수이며, 두 가지 중요한 수렴 특성을 가진다. 첫째, 입력 과정이 정확히 k‑차 마코프 연쇄라면 χₙ 은 거의 확실히(확률 1) k 에 수렴한다. 이는 “일관성(consistency)”이라 불리는 통계적 성질로, 표본 크기가 커질수록 추정값이 진짜 차수와 일치한다는 것을 의미한다. 둘째, 입력 과정이 어떤 유한 차수의 마코프 구조도 만족하지 않을 경우, χₙ 은 무한대로 발산한다. 즉, 차수가 존재하지 않음을 자동으로 탐지한다. 이 두 특성은 “정확한 차수 검증”과 “비마코프성 판별”을 동시에 수행할 수 있게 해준다.

기술적 핵심은 조건부 확률 분포의 수렴성을 이용한 “패턴 일치” 메커니즘이다. 구체적으로, 길이 ℓ 의 과거 블록이 주어졌을 때 미래 상태의 분포가 ℓ + 1 길이 블록에 비해 크게 변하지 않는지를 검정한다. 변동이 통계적으로 유의미하게 감소하지 않으면 차수를 늘려가며, 변동이 사라지는 최초의 ℓ 값을 차수 k 로 선언한다. 이 과정은 모든 가능한 과거 블록을 열거할 필요 없이, 관측된 데이터 내에서 실제 등장한 블록만을 대상으로 수행되므로 계산 복잡도가 크게 감소한다.

또한, 가산 알파벳에 대한 일반화는 “빈도 기반 가중치”와 “희소성 보정”을 도입함으로써 이루어진다. 무한히 많은 심볼이 존재할 경우, 특정 심볼이 충분히 관측되지 않을 위험이 있다. 저자들은 각 심볼에 대한 출현 빈도를 이용해 신뢰 구간을 조정하고, 충분히 큰 표본이 확보될 때까지 차수 증가를 억제하는 “보수적 확장 규칙”을 설계하였다. 이로써 표본이 부족한 상황에서 과도한 차수 추정으로 인한 과적합(overfitting)을 방지한다.

이론적 증명은 마코프 연쇄의 고전적 성질인 “강한 마코프성”(strong Markov property)과 “에르고딕성”(ergodicity)을 활용한다. 정상성(stationarity) 가정 하에, 시간 평균과 기대값이 일치한다는 보조 정리를 이용해 거의 확실히 수렴함을 보이며, 비마코프 경우에는 조건부 분포가 무한히 변동함을 보여 무한 발산을 유도한다.

실험적 검증 부분에서는 가산 알파벳을 갖는 합성 데이터와 실제 텍스트 데이터(예: 영어 문서, DNA 서열)를 사용해 알고리즘을 적용하였다. 결과는 기존 AIC/BIC 기반 방법보다 차수 추정 정확도가 평균 15 % 이상 향상되었으며, 비마코프성 검출에서도 위양성(false positive) 비율이 현저히 낮았다.

요약하면, 이 논문은 (1) 가산 무한 알파벳에서도 적용 가능한 일관적인 마코프 차수 추정량을 제시하고, (2) 차수가 존재하지 않을 경우 자동으로 무한대로 발산함으로써 비마코프성을 명확히 구분한다는 두 가지 혁신을 담고 있다. 이러한 결과는 시계열 분석, 자연어 처리, 생물정보학 등 다양한 분야에서 모델 선택과 구조 검증을 보다 신뢰성 있게 수행할 수 있는 기반을 제공한다.

**