베이지안 구조 추론을 통한 숨은 과정의 패턴 발견

본 논문은 복잡한 확률 과정의 구조를 데이터로부터 추정하기 위한 베이지안 접근법, Bayesian Structural Inference (BSI)를 제시한다. BSI는 후보 모델 집합 M을 사전에 정의하고, 관측된 심볼 시퀀스 D에 대해 각 모델의 사후 확률 P(M|D)를 계산한다. 후보 모델은 유니플라어 숨은 마르코프 모델(uHMM) 중에서도 전이 확률이 동일하게 설정된 위상 ε‑머신(topological ε‑machines)으로 제한한다. 이러한 제한은 모델이 언제든 ε‑머신이라는 최소·유일성을 보장하고, 전이 확률과 시작 상태에 대한 분석적 사후 분포를 도출할 수 있게 한다. 전이 확률에 대해서는 Dirichlet 사전분포를 사용하고, 관측 데이터가 각 상태·심볼 쌍을 얼마나 자주 통과했는지를 카운트하여 충분통계량을 만든다. 이를 통해 전이 확률의 사후 평균과 분산을 정확히 계산한다. 시작 상태는 균등 사전을 두고, 각 시작 상태에서 데이터가 생성될 가능성을 비교해 사후 확률을 얻는다. 모델 비교는 베이지안 모델 선택 원리에 따라 모델 증거 P(D|M)를 계산함으로써 수행된다. 위상 ε‑머신의 구조적 제약 덕분에 이 적분을 닫힌 형태로 풀 수 있다. 또한 모델 복잡도에 대한 베타 형태의 사전 P(M)∝e^{-β|M|}를 도입해 과도한 복잡성을 억제한다. β 파라미터를 조절하면 데이터 양이 적을 때는 단순 모델에 가중치를 두고, 데이터가 충분히 많아지면 복잡한 모델을 허용하도록 할 수 있다. 실험에서는 세 가지 대표적인 과정에 BSI를 적용하였다. 첫 번째는 유한 차수 마르코프 과정으로, BSI는 정확한 엔트로피율 h_μ와 통계 복잡도 C_μ 를 추정했으며, 사후 분포 전체를 사용한 추정이 MAP 모델만을 사용했을 때보다 불확실성 범위가 현실적이었다. 두 번째는 무한 차수 마르코프 과정(예: 골드베르거 프로세스)으로, 전통적인 CSSR 같은 방법이 모델 차수를 과소추정하는 반면, BSI는 후보 모델 집합에 포함된 충분히 복잡한 위상 ε‑머신을 통해 정확한 구조와 무작위성을 복원했다. 세 번째는 무한 상태 숨은 과정(예: 은닉 비정규 마르코프 체인)으로, 기존 방법이 전혀 적용되지 못했지만 BSI는 사후 확률이 높은 복수의 모델을 통해 근사적인 ε‑머신을 찾아내고, 이에 기반한 h_μ와 C_μ 를 신뢰성 있게 추정했다. 논문의 주요 기여는 다음과 같다. 1) 위상 ε‑머신을 이용한 후보 모델의 체계적 열거와 정확한 베이지안 사후 계산 방법 제시, 2) 전이 확률·시작 상태·모델 구조에 대한 통합적인 불확실성 정량화, 3) 사후 분포 전체를 활용한 엔트로피율·통계 복잡도 추정이 MAP 기반 추정보다 우수함을 실증, 4) 제한된 모델 클래스에도 불구하고 무한 차수·무한 상태 과정을 효과적으로 다룰 수 있음을 보임. 한계점으로는 위상 ε‑머신에만 국한된 점, 알파벳 크기가 커질수록 후보 모델 수가 급증해 계산 비용이 크게 늘어나는 점, 그리고 연속값 시계열에 직접 적용하기 위한 확장 작업이 필요하다는 점을 들 수 있다. 향후 연구에서는 일반 ε‑머신(비위상) 전체에 대한 베이지안 추론, 고차원·다중 알파벳 데이터에 대한 효율적인 샘플링 기법, 연속값 관측을 위한 혼합 모델링 등을 제안한다.