동적 베이지안 멀티넷: 마크오프 체인 기반의 차별적 구조 학습

** 본 논문은 시간‑t에 존재하는 마크오프 체인 상태 \(q_t\) 가 주변 관측 변수 \(\mathbf{X}_{t-L:t+L}\) 사이의 조건부 독립 관계를 결정하도록 설계된 새로운 시계열 확률 모델, **동적 베이지안 멀티넷(Dynamic Bayesian Multinet, DBM)** 을 제안한다. 기존의 동적 베이지안 네트워크(DBN)는 고정된 그래프 구조를 사용하거나, 구조 변화를 허용하더라도 그 변화를 마크오프 체인과 직접 연결시키지 못했다. DBM은 각 마크오프 상태마다 서로 다른 베이지안 네트워크를 활성화함으로써, 상태‑의존적인 구조 변화를 자연스럽게 모델링한다. 이는 마크오프 체인의 전이 확률과 관측 확률을 분리하면서도, 상태에 따라 달라지는 변수 간 상관관계를 정확히 포착한다는 점에서 기존 모델을 확장한다. **이론적 기반**으로는 정보이론적 기준을 도입한다. 클래스 레이블 \(C\) 와 관측 변수 \(\mathbf{X}\) 사이의 **조건부 상호정보량 \(I(C;\mathbf{X})\)** 은 모델이 클래스 구분에 얼마나 유용한지를 측정한다. 동시에, 마크오프 상태와 관측 변수 사이의 **조건부 상호정보량 \(I(q_t;\mathbf{X}_{t-L:t+L})\)** 은 상태가 관측에 제공하는 정보를 평가한다. 두 정보를 결합한 **혼합 정보 기준(MIC)** 은 “클래스‑조건부 차별성”과 “구조 희소성”을 동시에 최적화하도록 설계되었다. **구조 학습**은 전역 탐색이 비현실적이므로, **그리디 히스테리시스 탐색**을 적용한다. 초기에는 완전 연결된 그래프를 가정하고, 각 에지에 대해 MIC 감소량을 계산한다. 감소량이 가장 큰 에지를 차례로 제거하면서, 파라미터 수가 사전에 정의한 상한을 초과하지 않을 때까지 진행한다. 에지 제거 시에는 클래스별 가중 평균을 사용해 차별적 중요도를 반영한다. 결과적으로, 각 마크오프 상태마다 **희소하고 차별적인 인접 행렬**이 생성된다. **파라미터 추정**은 EM 알고리즘을 사용한다. E‑step에서는 현재 구조와 파라미터에 기반해 상태 시퀀스의 사후 확률을 포워드‑백워드 알고리즘으로 계산한다. M‑step에서는 각 상태‑조건부 네트워크에 대해 조건부 확률 테이블(CPT)을 최대우도 추정한다. 구조가 희소하기 때문에 CPT의 차원이 크게 감소하고, 수렴 속도가 기존 DBN 대비 빠르다. **실험**은 중규모 어휘(≈1,000단어) 격리 단어 음성 코퍼스를 사용하였다. 베이스라인으로는 전통적인 HMM(3‑state, 8‑mixture GMM), 기존 DBN, 그리고 파라미터 수가 동일한 정규화된 DBN을 설정하였다. 평가 지표는 단어 오류율(WER)과 로그우도이며, DBM은 HMM 대비 평균 12 % 감소된 WER, 기존 DBN 대비 7 % 감소된 WER를 기록하였다. 특히 잡음이 섞인 테스트 셋에서도 구조적 차별성이 크게 작용해 안정적인 인식률을 보였다. 파라미터 수는 동일했음에도 불구하고, 구조가 희소해 메모리 사용량이 약 15 % 감소했으며, 추론 시간도 평균 18 % 단축되었다. **의의**는 마크오프 체인 상태에 따라 동적으로 변하는 구조를 제공함으로써, 복잡한 시계열 데이터(음성, 생체 신호 등)에서 클래스 구분에 필요한 핵심 상관관계만을 자동으로 학습한다는 점이다. 이는 전통적인 특징 설계 과정을 크게 단순화하고, 차별적 특징을 데이터 자체에서 추출하도록 만든다. **한계**로는 구조 학습이 그리디 탐색에 의존하므로 전역 최적을 보장하지 못한다는 점과, 마크오프 상태 수가 크게 늘어날 경우 각 상태마다 별도 네트워크를 저장해야 하므로 메모리 요구가 급증할 가능성이 있다는 점이다. 향후 연구에서는 베이지안 모델 선택, 신경망 기반 구조 인코더, 혹은 상태‑공유 파라미터 기법을 도입해 이러한 문제를 완화하고, 더 큰 어휘와 실시간 응용에 적용할 방안을 모색할 필요가 있다. **