잠재 베르누이 가우스 모델을 이용한 데이터 분석 혁신

초록

본 논문은 가우시안 혼합 모델에 베르누이 기반 특성 선택 메커니즘을 결합한 잠재 베르누이‑가우스(Latent Bernoulli‑Gauss) 분포를 제안한다. 이 모델은 MAP 추정, 군집화, 특성 선택, 협업 필터링에 적용될 수 있으며, 기존 최첨단 잠재 변수 모델에 비해 정확도와 효율성에서 우수한 성능을 보인다.

상세 분석

잠재 베르누이‑가우스(LBG) 모델은 두 가지 확률적 구성요소를 통합한다. 첫 번째는 각 문서(또는 데이터 포인트)에서 활성화된 특성(단어, 아이템 등)을 베르누이 변수로 모델링하여, 특성 선택을 확률적으로 수행한다. 이 베르누이 과정은 “특성 포함 여부”를 0‑1 변수로 나타내며, 각 특성마다 사전 확률 π_k 를 학습한다. 두 번째는 선택된 특성들에 대해 가우시안 혼합 모델을 적용한다. 즉, 활성화된 특성들의 실수값(예: TF‑IDF 가중치, 평점 등)을 K개의 가우시안 컴포넌트 중 하나에서 생성된 것으로 가정한다. 이때 각 컴포넌트는 평균 μ_k와 공분산 Σ_k를 갖으며, EM 알고리즘을 통해 파라미터를 추정한다.

LBG의 핵심 장점은 특성 선택과 군집화를 동시에 수행한다는 점이다. 전통적인 가우시안 혼합 모델은 모든 차원을 동일하게 취급해 차원 저주에 취약하지만, 베르누이 단계가 불필요한 특성을 자동으로 억제한다. 또한, 베르누이 파라미터 π_k는 특성의 전반적 중요도를 반영하므로, 모델 해석이 용이하고, 차원 축소 후에도 의미 있는 군집을 유지한다.

수식적으로는 관측 데이터 x_n을 베르누이 변수 z_n와 연속 변수 y_n의 결합으로 표현한다. p(x_n|θ)=∑_c π_c ∏_k