LLM과 형식 개념 분석을 활용한 토픽 모델링 비교 연구

초록

본 논문은 최신 대형 언어 모델(GPT‑5)과 형식 개념 분석 기반 토픽 모델링 파이프라인(CREA)을 두 개의 도메인‑특화 데이터셋(프로그래밍 교육 자료와 정보시스템 연구 논문)에 적용해 성능과 특성을 비교한다. GPT‑5는 3단계 프롬프트(배치별 토픽 생성, 결과 병합, 라벨링)로 제로샷 실행하고, CREA는 이진화 전략·폐쇄 연산·계층적 군집화를 통해 형식 개념을 도출한다. 실험 결과, LLM은 직관적이고 풍부한 라벨을 제공하지만 일관성·재현성에서 변동성이 크고, FCA는 투명하고 재현 가능하지만 전처리와 파라미터 선택에 민감함을 확인하였다.

상세 분석

본 연구는 토픽 모델링 분야에서 최신 LLM과 전통적인 형식 개념 분석(FCA)의 실제 적용 가능성을 정량·정성적으로 평가한다는 점에서 의미가 크다. 먼저 데이터 전처리 단계에서 두 접근법이 서로 다른 가정을 둔다는 점을 지적한다. GPT‑5는 최소한의 클리닝만을 요구하고, 자체적인 토큰화와 의미 파악을 수행한다. 반면 CREA는 텍스트를 lemmatization·POS‑filtering 후 BabelFy를 이용해 개념을 명시적으로 추출하고, 이진 행렬을 구성한다. 이 과정에서 β값(빈도 임계치)과 binarization 전략(Direct, Low, Medium, High)의 선택이 결과 토픽 수와 품질에 큰 영향을 미친다.

실험 설계는 두 개의 데이터셋을 사용한다. 첫 번째는 8개의 PHP 강의 자료로, 내용이 비교적 균일하고 용어가 제한적이다. 두 번째는 40개의 정보시스템 논문으로, 초록(짧은 텍스트)과 본문(긴 텍스트) 두 서브셋을 만든다. 이러한 구분은 LLM의 컨텍스트 윈도우 제한과 FCA의 대규모 어휘 처리 능력을 동시에 시험할 수 있게 한다.

LLM 측면에서는 “배치별 토픽 생성 → 병합 → 라벨링”이라는 3단계 프롬프트 체인을 제로샷으로 적용했으며, 결과는 토픽의 다양성, 인간 평가자에 의한 일관성, 그리고 자동 라벨링의 자연스러움으로 평가되었다. GPT‑5는 풍부한 자연어 표현을 제공하지만, 동일한 배치에 대해 실행할 때마다 토픽 수와 키워드 구성이 달라지는 변동성을 보였다. 또한, 긴 문서 전체를 한 번에 처리하지 못하고 배치로 나누어야 하는 점이 전체 토픽 구조의 일관성을 저해한다는 한계가 있다.

FCA 측면에서는 β값을 조정해 어휘 필터링 강도를 조절했으며, Medium 전략(0.75 ≤ β ≤ 1.00)이 초록 데이터에, High 전략(β = 1.50)이 본문 데이터에 최적임을 발견했다. 형식 개념의 수는 β값에 따라 급격히 변했으며, 이는 클러스터링 단계(k값) 선택에도 영향을 미쳤다. HAC를 이용해 8개의 세션(클러스터)으로 구분한 결과, 개념 간 계층적 관계가 시각적으로 명확히 드러났고, 토픽 키워드 역시 인간 전문가가 검증하기에 충분히 해석 가능했다. 그러나 FCA는 이진화 과정에서 희귀 단어를 과도하게 제거하거나, 다중 의미를 구분하지 못하는 경우 토픽의 세부성이 손실될 위험이 있다.

두 접근법을 비교한 종합적인 논의에서는 LLM이 빠른 프로토타이핑과 직관적인 라벨링에 강점이 있는 반면, FCA는 재현 가능하고 논리적 근거가 명시된 토픽을 제공한다는 점을 강조한다. 특히, 교육용 자료와 같이 도메인 용어가 제한된 경우 FCA가 높은 정확도와 일관성을 보였으며, 연구 논문처럼 어휘가 다양하고 길이가 긴 경우 LLM이 인간 친화적인 라벨을 생성하는 데 유리했다. 마지막으로, 평가 지표로 사용된 토픽 일관성(CV)과 인간 주관 평가 결과가 서로 다른 경향을 보였으며, 단일 지표만으로는 두 방법의 우열을 판단하기 어렵다는 결론에 도달한다.