마코프 의존성을 고려한 변분 베이지안 모델 집계 기반 비지도 분류

초록

본 논문은 정상(known)과 비정상(unknown) 두 집단으로 구성된 이진 비지도 분류 문제를 다룬다. 비정상 데이터의 분포를 가우시안 혼합 모델로 근사하고, 숨겨진 마코프 의존성을 갖는 HMM 구조를 도입한다. 변분 베이지안(VB) 프레임워크를 이용해 각 혼합 모델의 사후 분포와 가중치를 추정하고, 베이지안 모델 평균(BMA) 방식으로 여러 모델을 집계한다. 제안된 가중치 추정법은 KL 발산 최소화에 기반하며, 완전 변분, 플러그인, 중요도 샘플링 세 가지 형태를 제시한다. 시뮬레이션과 공중보건 감시 데이터 적용을 통해 분류 정확도와 모델 집계 효과를 검증한다.

상세 분석

이 논문은 비지도 이진 분류 상황에서 “정상” 데이터의 분포 φ는 사전에 알려져 있으나 “비정상” 데이터의 분포 f는 알 수 없다는 전제 하에 진행된다. 기존 연구에서는 f를 다양한 모델로 추정했지만, 각 모델이 제공하는 정보가 서로 보완적일 수 있기에 단일 모델 선택보다 모델 집계가 바람직하다고 주장한다. 이를 위해 저자는 베이지안 모델 평균(BMA) 개념을 차용하고, 모델 가중치 αₘ을 P(M=m|X)로 정의한다. 그러나 라벨 S가 관측되지 않아 P(M,Θ,S|X)의 적분이 불가능하므로, 변분 베이지안 접근을 통해 KL 발산을 최소화하는 근사 분포 Q_{H,M}를 도입한다.

핵심 수식은 두 단계 최적화 문제로 분해된다. 첫 단계에서는 Q_M을 최적화해 가중치 αₘ을 얻으며, 이는 Q_{H|m}와 로그우도 log P(X|m) 사이의 관계로 표현된다(정리 2.1). 두 번째 단계에서는 각 모델별로 Q_{H|m}을 구한다. 여기서 H=(S,Θ)이며, 변분 베이지안 EM(VBEM) 알고리즘을 사용해 Q_{S|m}·Q_{Θ|m} 형태의 팩터화된 근사를 얻는다. 이때 φ와 fₘ는 지수족(exp‑family)이며, Θ에 대한 공액 사전분포를 가정함으로써 VBEM이 적용 가능하도록 설계했다.

가중치 추정법은 세 가지로 제시된다. ① 완전 변분 가중치 α_VB는 KL 발산 최소화 결과를 직접 사용한다. ② 플러그인 가중치 α_PE는 변분 사후 평균 θ를 이용해 베이즈 정리를 직접 적용한 형태이며, θ를 근사 사후 평균으로 대체한다. ③ 중요도 샘플링 가중치 α_IS는 Q_{H|m}을 중요도 분포로 삼아 무편향 추정량을 만든다. 이들 가중치는 모두 P(m)·exp