베이지안 네트워크 기반 혼합형 나이브 베이즈 분류기

본 논문은 베이지안 네트워크 분류기의 두 대표적인 모델인 나이브 베이즈(Naive Bayes, NB)와 유한 혼합(Finite Mixture, FM) 모델을 결합한 새로운 분류기, ‘혼합 나이브 베이즈(Mixed Naive Bayes)’를 제안한다. NB는 클래스와 특징 사이에 조건부 독립성을 가정함으로써 학습과 추론을 매우 효율적으로 수행하지만, 실제 데이터에서는 특징 간 상관관계가 존재해 성능이 저하되는 경우가 많다. 반면 FM은 잠재 혼합 컴포넌트를 도입해 복잡한 다변량 분포를 근사할 수 있지만, 클래스 레이블과 직접 연결되지 않아 순수 분류 목적에는 부적합하거나 과적합 위험이 있다. 이러한 두 모델의 장단점을 보완하고자, 저자는 NB의 기본 구조를 유지하면서 각 특징 변수 집합 위에 독립적인 유한 혼합 레이어를 겹쳐 놓는 설계를 제안한다. 구조적으로는 클래스 변수 C가 주어졌을 때, 각 특징 Xi는 잠재 혼합 변수 Z에 의해 생성된다. 즉, P(Xi|C)=∑_z P(Z=z|C)·P(Xi|Z=z, C) 형태를 취한다. 여기서 Z는 각 특징군마다 독립적으로 정의될 수 있으며, 혼합 컴포넌트 수 K는 BIC·AIC·교차 검증 등 모델 선택 기준에 따라 결정한다. 파라미터 추정은 전형적인 EM 알고리즘을 사용한다. E‑step에서는 현재 파라미터 하에 각 데이터 포인트가 어느 혼합 컴포넌트에 속할 확률(책임도)을 계산하고, M‑step에서는 클래스 사전 확률, 혼합 비율, 그리고 조건부 확률 분포(연속형은 가우시안, 이산형은 다항)를 업데이트한다. 이 과정은 NB의 파라미터 추정과 유사하게 진행되므로 구현이 비교적 간단하다. 복잡도 측면에서, EM 반복 횟수와 혼합 컴포넌트 수에 따라 연산량이 증가하지만, NB의 독립성 가정 덕분에 전체 파라미터 수는 전형적인 FM보다 크게 늘어나지 않는다. 추론 단계에서는 사후 확률 P(C|X)를 직접 계산할 수 있으며, 혼합 레이어가 추가되었음에도 사후 확률은 각 특징에 대한 혼합 가중합 형태로 유지되므로 실시간 응용에도 충분히 빠르다. 성능 평가는 10여 개 이상의 공개 데이터셋(UCI, KEEL 등)에서 5‑fold 교차 검증을 수행하고, 정확도(Accuracy), 로그 손실(Log‑Loss), Brier Score 등 세 가지 지표를 사용했다. 실험 결과, Mixed NB는 대부분의 데이터셋에서 기존 NB보다 평균 3~7% 높은 정확도를 보였으며, FM 대비도 비슷하거나 약간 우수했다. 특히 클래스 불균형이 심한 데이터에서 Brier Score와 로그 손실이 크게 개선되어, 예측 확률이 실제 발생 빈도와 잘 맞아떨어지는 것을 확인했다. 또한 AIC·BIC 비교를 통해 과적합 없이 충분히 일반화된 모델임을 입증했다. 논문은 몇 가지 한계점도 제시한다. 혼합 컴포넌트 수 K를 자동으로 결정하는 메커니즘이 아직 충분히 탐색되지 않았으며, Dirichlet Process Mixture와 같은 베이지안 비모수 방법을 적용하면 K를 데이터에 따라 자동 조정할 수 있을 것으로 기대된다. 또한 현재는 모든 특징에 동일한 혼합 구조를 적용했지만, 특징군별로 다른 K 값을 허용하거나 계층적 베이지안 네트워크로 확장하면 더욱 정교한 모델링이 가능하다. 대규모 고차원 데이터(텍스트, 이미지 등)에서는 차원 축소와 결합한 변형이 필요하다. 핵심 인사이트는 NB의 과도한 독립성 가정을 완화하면서 FM이 제공하는 복잡한 분포 모델링 능력을 유지함으로써, 정확도와 확률 보정 모두에서 실질적인 이득을 얻을 수 있다는 점이다. 특히 의료·금융 등 확률 기반 의사결정이 중요한 분야에서 활용 가치가 크다.