간결한 주제 모델과 핵심 단어 탐색

초록

본 논문은 토픽별로 특화된 핵심 단어와 문서별로 실제로 사용되는 토픽만을 선택하는 두 단계의 희소성을 도입한 파시모니어스(간결한) 토픽 모델을 제안한다. 공유 백그라운드 단어 분포와 차별화된 BIC 패널티를 이용해 모델 구조·파라미터·토픽 수를 전부 무지도 방식으로 최적화한다. 실험 결과 LDA와 기존 희소 모델보다 테스트 로그우도와 클래스 일치도가 우수함을 보인다.

상세 분석

이 논문은 기존 LDA가 모든 토픽을 모든 문서에 할당하고, 어휘 전체를 토픽별 확률분포로 모델링함으로써 파라미터 수가 폭발적으로 증가하고 과적합 위험이 높다는 점을 지적한다. 이를 해결하기 위해 두 가지 차원의 희소성을 동시에 구현한다. 첫 번째는 ‘주제‑특이 단어’와 ‘공유 단어’의 이분법이다. 각 토픽 j에 대해 이진 변수 u_{jn}이 1이면 단어 n은 토픽‑특이 확률 β_{jn}을 갖고, 0이면 전역 공유 분포 β_{0n}을 사용한다. 이렇게 하면 대부분의 일반 단어는 하나의 파라미터(공유 모델)만 필요하게 되어 어휘 차원에서 파라미터가 크게 감소한다. 두 번째는 문서‑레벨 토픽 희소성이다. 이진 변수 v_{jd}가 1이면 토픽 j가 문서 d에 존재하고, 해당 문서의 토픽 비율 α_{jd}를 추정한다. v_{jd}=0인 경우 해당 토픽은 완전히 배제되므로 문서당 활성 토픽 수 M_d가 작아진다.

모델 학습은 구조 학습과 파라미터 학습을 교대로 수행한다. 구조 학습 단계에서는 현재 파라미터를 고정하고, 각 토픽‑특이 단어와 각 문서에 포함될 토픽을 BIC 기반 비용 함수를 최소화하도록 선택한다. 파라미터 학습 단계에서는 고정된 구조 하에 최대우도 추정으로 α와 β를 업데이트한다. 중요한 점은 BIC를 단순히 “−2·loglikelihood + (k/2)·log(N)” 형태로 쓰지 않고, 파라미터 종류별 유효 샘플 크기를 다르게 설정해 차별화된 패널티를 부여한다는 것이다. 구체적으로 토픽‑특이 확률 β_{jn}은 전체 단어 등장 횟수 L̄_j에 비례하는 샘플 크기를, 공유 확률 β_{0n}은 전체 코퍼스 크기에 비례하는 샘플 크기를 사용한다. 이렇게 하면 파라미터마다 실제 정보량에 맞는 규제가 적용돼 과적합을 억제한다.

또한 모델 차수 M(토픽 수)도 BIC 최소화 과정에 포함시켜, 별도의 검증 데이터나 교차 검증 없이도 최적 토픽 수를 자동으로 결정한다. 이는 전통적인 LDA가 사전에 토픽 수를 지정해야 하는 불편함을 해소한다.

실험에서는 3개의 텍스트 코퍼스와 하나의 이미지 데이터셋(이미지를 ‘시각 단어’로 변환)에서 제안 모델을 LDA와 Sparse Topical Coding(STC) 등과 비교하였다. 평가 지표는 테스트 로그우도와 외부 라벨(클래스)과의 정합도(NMI, 정확도)이다. 모든 데이터셋에서 제안 모델이 높은 로그우도와 더 나은 라벨 정합성을 보였으며, 특히 토픽‑특이 단어 비율이 낮은 일반 단어가 많은 데이터에서 공유 모델의 효과가 두드러졌다.

이 논문의 주요 기여는 (1) 토픽 모델에 공유‑특이 어휘 구조를 도입해 어휘 차원의 파라미터를 크게 감소시킨 점, (2) 문서‑레벨 토픽 희소성을 명시적으로 모델링해 실제 문서에 맞는 토픽 집합을 자동 선택한 점, (3) 파라미터 종류별 유효 샘플 크기를 반영한 새로운 BIC 형태를 제안해 모델 선택과 구조 학습을 통합한 점이다. 이러한 접근은 대규모 어휘를 가진 텍스트 분석뿐 아니라 이미지와 같은 고차원 시그널에도 적용 가능함을 실험적으로 입증하였다.