문장군 기반 LLM 미세조정으로 토픽 모델링 혁신

초록

본 논문은 문장군(bag of sentences)을 기본 단위로 삼아, 자동 생성된 유사·비유사 문장군 쌍을 활용해 대규모 언어 모델(LLM)을 비지도 방식으로 미세조정(Fine‑tuning)하는 FT‑Topic 방법을 제안한다. 미세조정된 인코더를 기존 임베딩 기반 토픽 모델에 적용하면, 새롭게 설계한 SenClu 알고리즘을 통해 빠른 EM‑기반 추론과 하드 토픽 할당을 수행한다. 실험 결과, 토픽 일관성·커버리지 모두에서 기존 최첨단 방법들을 능가한다.

상세 분석

FT‑Topic은 두 단계의 자동 데이터 생성 파이프라인을 핵심으로 한다. 첫 번째 단계에서는 문서 내 연속된 문장군을 “같은 토픽”이라고 가정하고, 서로 다른 문서에서 추출한 문장군을 “다른 토픽”이라고 가정해 삼중항(triplet) 데이터를 만든다. 여기서 문장군은 nₛ개의 연속된 문장으로 구성되며, 일반적인 문서 길이와 토픽 전이 특성을 고려해 nₛ를 조정한다. 두 번째 단계에서는 비미세조정된 사전학습 모델(예: Sentence‑BERT)의 임베딩 유사도를 이용해 오류 가능성이 높은 삼중항을 제거한다. 구체적으로, (Anchor, Positive) 쌍의 거리 ‖v_A−v_P‖₂가 큰 경우와 (Anchor, Positive)와 (Anchor, Negative) 거리 차이 ‖v_A−v_P‖₂−‖v_A−v_N‖₂가 작아진 경우를 각각 f_pos와 f_tri 비율만큼 삭제한다. 이러한 정제 과정을 통해 “같은 토픽이지만 실제로는 다른 토픽” 혹은 “다른 토픽이지만 실제로는 같은 토픽” 오류를 크게 감소시킨다.

정제된 삼중항 집합 T에 대해 트리플렛 손실 L(A,P,N)=max(‖v_A−v_P‖₂−‖v_A−v_N‖₂+m,0) 를 사용해 LLM 인코더를 미세조정한다. 마진 m, 부정 샘플 수 n_neg, 학습 에폭 등 하이퍼파라미터는 논문에서 제시된 기본값(예: m=0.16, n_neg=2, ep=4)을 사용했으며, 이는 Sentence‑Transformer 라이브러리와 호환된다.

미세조정된 인코더는 임베딩 공간에서 동일 토픽에 속한 문장군이 서로 가깝게, 다른 토픽에 속한 문장군은 멀게 배치되도록 학습된다. 이를 기반으로 제안된 SenClu는 전통적인 어스펙트 모델(Hofmann, 2001)을 확장한 형태이며, 문장군 g를 관측 변수로 두고 토픽 t와 문서 d 사이의 조건부 독립성을 유지한다. EM‑알고리즘을 변형해 K‑Means‑like 클러스터링 단계와 토픽‑문서 사전(prior) 결합 단계(“annealing”)를 번갈아 수행함으로써, 각 문장군을 단일 토픽에 하드 할당한다. 이 과정은 복잡한 변분 추론이나 딥 네트워크 기반 인퍼런스에 비해 계산량이 크게 감소하면서도 높은 토픽 일관성을 유지한다.

실험에서는 4개 이상의 공개 데이터셋(예: 20 Newsgroups, Reuters, Wiki‑10K 등)에서 LDA, BERTopic, Top2Vec, CTM 등 기존 최첨단 임베딩 기반 토픽 모델과 비교했다. 평가 지표는 토픽 일관성(UMass, UCI, NPMI)과 토픽 커버리지(문서당 토픽 수, 토픽 다양성) 그리고 다운스트림 분류/검색 작업에서의 성능이다. FT‑Topic+SenClu는 모든 지표에서 평균 5‑12% 정도의 향상을 보였으며, 특히 토픽 커버리지와 하드 할당의 명확성이 사용자 인터랙션 시 큰 장점으로 작용한다. 또한, 미세조정 단계가 한 번 수행되면 동일 인코더를 다양한 토픽 모델에 재사용할 수 있어, 파이프라인 전체의 효율성을 크게 높인다.

한계점으로는 문서 내 토픽 전이가 매우 빈번한 경우(예: 뉴스 기사 요약)에는 “인접 문장군 동일 토픽” 가정이 깨질 위험이 있다. 또한, 삼중항 정제 비율(f_pos, f_tri) 선택이 데이터셋 특성에 민감하게 작용할 수 있어, 자동 튜닝 메커니즘이 추가로 필요할 수 있다. 향후 연구에서는 다중 토픽 할당을 허용하는 소프트 할당 방식과, 문서 구조(섹션, 헤딩) 정보를 활용한 더 정교한 샘플링 전략을 탐색할 예정이다.