베이지안 로지스틱 지도 토픽 모델 개선
이 논문은 지도 토픽 모델에서 응답 변수와 단어 수의 불균형 문제와 변분 추론의 강한 평균장 가정 문제를 해결한다. 정규화 상수를 도입해 두 부분의 영향을 조절하고, Polya‑Gamma 보조 변수를 이용한 데이터 증강과 디렉터리 변수의 Collapse Gibbs 샘플링을 결합한 효율적인 Gibbs 샘플링 알고리즘을 제안한다. 실험 결과, 예측 정확도와 학습 속도가 크게 향상됨을 보인다.
저자: Jun Zhu, Xun Zheng, Bo Zhang
본 논문은 지도 토픽 모델, 특히 로지스틱 회귀와 결합된 sLDA(supervised LDA) 구조의 두 가지 핵심 문제를 해결한다. 첫 번째 문제는 응답 변수 y가 문서 내 단어 수에 비해 매우 작은 규모를 가지므로, 베이즈 정규화 과정에서 로그우도 항이 단어 로그우도에 비해 거의 무시되는 현상이다. 이는 모델이 응답 정보를 충분히 활용하지 못해 예측 성능이 저하되는 원인으로 작용한다. 저자는 이를 “정규화 상수 c”를 도입함으로써 해결한다. 정규화 베이즈 추론(framework of regularized Bayesian inference)에서는 사후 분포를
\
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기