왜 내 말을 듣지 않았나요 인간인루프 토픽 모델의 사용자 제어 비교

초록

본 논문은 인간‑인‑루프 토픽 모델링(HLTM) 시스템에서 사용자가 기대하는 제어 수준을 측정하기 위해 세 가지 접근법(제약 기반, 사전 기반 Gibbs 샘플링, 사전 기반 변분 EM)을 구현·시뮬레이션하고, “좋은 사용자”와 “무작위 사용자” 행동을 가정한 실험을 통해 제어 메트릭과 토픽 일관성 변화를 비교한다. 결과는 사전 기반 방법이 사용자 제어에 더 유리하지만, 제약 기반 방법이 토픽 품질(일관성)에서는 우수함을 보여준다.

상세 분석

이 연구는 HLTM 시스템의 핵심 설계 원칙인 “사용자에게 제어권을 부여한다”는 가정을 정량화하려는 시도로, 기존 연구가 주로 토픽 품질(코히어런스, 퍼플렉시티)만을 평가해온 한계를 극복한다. 먼저 저자들은 세 가지 모델링 파이프라인을 정의한다. 첫 번째는 사전 기반(informed priors) 접근법을 Gibbs 샘플링과 결합한 ‘info‑gibbs’이며, 사전 파라미터 α와 β를 직접 조정해 사용자의 피드백을 반영한다. 두 번째는 동일한 사전 기반을 변분 EM(inf‑vb)과 결합한 형태로, λ라는 토픽‑단어 매개변수를 재설정함으로써 빠른 업데이트가 가능하도록 설계했다. 세 번째는 제약 기반(const‑gibbs)으로, ‘must‑link’·‘cannot‑link’ 형태의 잠재 변수 잠재함수 fₘ(z,m,d)를 도입해 특정 단어·문서가 특정 토픽에 할당되는 것을 강제하거나 억제한다.

세 시스템 모두 사용자가 흔히 요구하는 7가지 정제 연산(단어 제거·추가, 문서 제거, 토픽 병합·분할·생성, 단어 순서 변경)을 구현했으며, 각 연산에 대해 사전 기반과 제약 기반이 어떻게 내부 파라미터를 조정하는지를 상세히 기술한다. 예를 들어 ‘단어 제거’ 연산에서는 info‑gibbs와 info‑vb가 해당 단어의 사전 값을 ε(10⁻⁸)로 낮추는 반면, const‑gibbs는 로그 ε 값을 갖는 소프트 제약을 삽입한다. ‘토픽 병합’은 두 토픽의 토픽‑단어 카운트를 합산하거나 토픽 할당을 재배치하는 방식으로 구현된다.

핵심 기여는 “제어 메트릭”이다. 저자들은 토픽을 단어 순위 리스트로 보고, 정제 전후의 순위 변화 Δr와 기대 변화 Δr̂를 비교해 제어 점수 S = Δr / Δr̂ 를 정의한다. S=1이면 완벽히 기대대로 적용된 것이고, S<0이면 반대 효과가 발생한 것이다. 문서 수준 정제와 토픽 생성·병합·분할에 대해서도 유사한 비율 기반 점수를 설계했다.

실험 설계는 실제 사용자 인터랙션을 비용 문제로 대체하기 위해 시뮬레이션을 사용한다. 7,000개의 뉴스 기사(14개 카테고리)로 구성된 데이터셋에 대해 40개의 초기 LDA 모델(10토픽·20토픽 각각 20개씩)을 학습하고, 각 HLTM 시스템에 무작위 사용자와 ‘좋은 사용자’를 모델링한다. ‘좋은 사용자’는 토픽이 다중 카테고리를 포함할 때, 가장 지배적인 카테고리로 토픽을 정제하는 전략을 취한다. 각 정제 연산마다 100번의 시뮬레이션을 수행하고, 제어 점수와 NPMI 기반 코히어런스 변화를 측정한다.

통계 분석(Kruskal‑Wallis) 결과, 모든 정제에 대해 사전 기반 시스템(info‑gibbs, info‑vb)이 제어 점수(C_Rand, C_Good)에서 유의하게 높았다. 특히 ‘단어 제거’, ‘문서 제거’, ‘토픽 병합’ 등에서는 거의 1.0에 가까운 제어 점수를 기록했다. 반면 코히어런스 향상(Q_Good)에서는 제약 기반(const‑gibbs)이 일관되게 우수했으며, 특히 ‘단어 추가’와 ‘문서 제거’에서 큰 폭의 개선을 보였다. ‘토픽 생성’과 ‘토픽 분할’에서는 사전 기반이 제어는 좋지만 코히어런스는 감소하는 경향을 보였으며, 이는 사전 기반이 데이터에 의존해 새로운 토픽을 만들 때 기존 토픽 구조를 충분히 보존하지 못하기 때문이다.

이 논문은 HLTM 시스템 설계 시 “제어와 품질 사이의 트레이드오프”를 명시적으로 고려해야 함을 강조한다. 사용자가 정밀한 제어를 원할 경우 사전 기반 접근법이 적합하지만, 전체 토픽 일관성을 중시한다면 제약 기반이 더 나은 선택이 될 수 있다. 또한 제안된 제어 메트릭은 향후 사용자 피드백이 실제 모델에 어떻게 반영되는지를 자동화된 방식으로 평가할 수 있는 도구로 활용 가능하다.