마르코프 트리 구조 최대우도 학습의 대편차 오류 지수 분석

초록

이 논문은 이산 마르코프 트리 분포의 최대우도(ML) 추정에서, 샘플이 충분히 많을 때 추정된 트리 구조가 실제 트리와 달라지는 오류 확률의 지수를 대편차 이론으로 분석한다. Chow‑Liu 알고리즘이 경험적 상호정보량을 가중치로 하는 최대 가중 스패닝 트리를 구성함을 이용해, 오류 지수가 단일 우세 교차 사건(실제 트리 경로상의 두 비인접 노드가 실제 간선을 대체하는 경우)의 지수와 동일함을 증명한다. 또한 매우 잡음이 큰 학습 환경에서 유클리드 정보 이론을 적용해 오류 지수를 신호‑대‑잡음비(SNR) 형태로 근사하고, 수치 실험을 통해 이 근사가 정확함을 확인한다.

상세 분석

본 연구는 이산 확률 변수들의 마르코프 트리 구조를 최대우도(MLE) 방식으로 추정하는 문제에 대편차(Large‑Deviation) 이론을 적용한 최초의 시도 중 하나이다. Chow와 Liu가 제시한 바와 같이, 트리 구조의 MLE는 경험적 상호정보량(mutual information, MI)을 간선 가중치로 하는 최대 가중 스패닝 트리(Maximum‑Weight Spanning Tree, MWST)를 찾는 문제와 동등하다. 따라서 추정 오류는 경험적 MI 값이 실제 MI 값과 충분히 차이 나는 경우에 발생한다. 저자들은 이러한 오류 사건을 ‘교차(crossover)’ 사건이라 정의하고, 특히 하나의 비인접 노드 쌍이 실제 트리의 어느 경로에 존재하는 간선을 대체하는 경우를 ‘우세 교차(dominant crossover)’ 사건으로 규정한다.

대편차 원리를 이용해, n개의 i.i.d. 샘플이 주어졌을 때 오류 확률 P_err(n)는 지수적으로 감소한다는 사실을 보이며, 그 감소율(오류 지수) E는
\