조정된 비터비 훈련으로 숨은 마르코프 모델의 추정 정확도 향상

초록

본 논문은 전통적인 비터비 훈련(VT)이 가지는 편향과 고정점 부재 문제를 해결하기 위해, 무한 비터비 정렬의 극한 확률분포 존재성을 증명하고 이를 이용한 조정된 비터비 훈련(VA)을 제안한다. 제한된 조건 하에서 VA는 VT의 계산 효율성을 유지하면서 EM과 유사한 고정점 특성을 회복하여 추정 정확도를 크게 개선한다.

상세 분석

비터비 훈련(VT)은 EM 알고리즘의 E‑step을 비터비 정렬로 대체함으로써 계산량을 크게 줄이고, 빠른 수렴과 구현의 간단함을 제공한다. 그러나 VT는 실제 파라미터를 초기값으로 사용했을 때도 무한 표본 한계에서 진정한 파라미터로 수렴하지 않는 고정점(property) 결함을 가지고 있다. 이는 비터비 정렬이 관측 데이터에 의존하는 결정적 경로를 선택함에 따라, 해당 경로에 기반한 최대우도 추정량 ˆµₙˡ와 전이확률 추정량 ˆpₙᵢⱼ이 진정한 분포 Pˡ(θˡ)와 pᵢⱼ으로 수렴하지 않기 때문이다.

논문은 이러한 편향을 정량화하고, “조정된 비터비 훈련”(VA)이라는 새로운 방법을 제시한다. 핵심 아이디어는 무한히 긴 관측 시퀀스에 대해 비터비 정렬이 생성하는 경험적 측도 ˆPₙˡ이 어떤 제한 확률측도 Qˡ(ψ)로 약한 수렴한다는 사실을 이용하는 것이다. Qˡ(ψ)는 일반적으로 원래의 방출분포 Pˡ(θˡ)와 다르므로, ˆµₙˡ는 Qˡ에 대한 로그우도 최대화 결과 µˡ(ψ)로 수렴한다. VA는 이 µˡ(ψ)와 qᵢⱼ(ψ) (전이확률의 극한값) 사이의 차이를 분석·보정함으로써, VT가 갖는 편향을 해소하고 고정점 특성을 회복한다.

이를 위해 논문은 무한 비터비 정렬의 존재와 그 재생성(regenerative) 구조를 엄밀히 증명한다. 구체적으로, “노드(node)”와 “노드 없는 구간(no‑node interval)” 개념을 도입하여, 충분히 일반적인 HMM(유한 상태, 비감소·비주기적 마코프 체인)에서 거의 확실히 무한히 많은 노드가 발생한다는 조건을 제시한다. 노드가 나타나는 시점들을 “특수 컬럼(special column)”이라 부르고, 이 시점들을 기준으로 정렬 과정을 재생성 블록으로 분할한다. 각 블록은 독립·동일분포(i.i.d.) 특성을 가지므로, 강한 법칙에 의해 경험적 측도는 Qˡ(ψ)로 수렴한다.

또한, 전이확률 추정에 대해서도 동일한 재생성 구조를 이용해 qᵢⱼ(ψ) = limₙ ˆpₙᵢⱼ(ψ) 가 존재함을 보인다. 이때 qᵢⱼ(ψ)와 실제 전이확률 pᵢⱼ는 일반적으로 다르며, VA는 이 차이를 보정하는 식을 제공한다.

논문은 기존 연구(특히 K=2 경우에 한정된 결과)와 비교해, 보다 일반적인 K와 복잡한 방출분포에 대해 적용 가능한 이론적 토대를 마련한다. 결과적으로, VA는 VT의 계산 효율성을 유지하면서, EM과 동일한 고정점(진정한 파라미터) 특성을 갖는 추정기를 제공한다는 점에서 실용적·이론적 의미가 크다.