과학 논문 주제 추출 및 연관 번들링 자동화

초록

본 논문은 대규모 과학 논문 집합에서 라틴 디리클레 할당(LDA) 기반 주제 모델링으로 핵심 토픽을 추출하고, 계층적 응집 군집화를 이용해 연관 논문을 실시간으로 번들링하는 두 단계 접근법을 제안한다. Amazon Mechanical Turk를 활용한 사용자 평가를 통해 기존 방법 대비 정확도와 효율성이 향상됨을 실증하였다.

상세 분석

이 연구는 과학 논문의 자동 분류와 번들링이라는 두 가지 핵심 문제를 동시에 해결하고자 한다. 첫 번째 단계인 주제 추출에서는 LDA(Latent Dirichlet Allocation)를 적용하여 각 논문의 단어 분포를 잠재 토픽 공간에 매핑한다. LDA는 베이즈적 토픽 모델링 기법으로, 문서-단어 행렬을 토픽-단어와 문서-토픽 확률 분포로 분해함으로써 숨겨진 의미 구조를 밝혀낸다. 논문에서는 토픽 수(k)를 실험적으로 조정하고, 퍼플렉시티와 토픽 일관성 지표를 활용해 최적의 k값을 선정하였다. 또한, 전처리 단계에서 불용어 제거, 어간 추출, 그리고 분야별 전문 용어 사전을 구축해 잡음 감소에 기여하였다.

두 번째 단계인 번들링에서는 LDA로부터 얻은 문서-토픽 벡터를 거리 측정(코사인 유사도) 기반으로 변환하고, 이를 입력으로 계층적 응집 군집화(Hierarchical Agglomerative Clustering, HAC)를 수행한다. HAC는 병합 방식(average linkage)을 채택해 군집 간 평균 거리를 최소화하면서 트리 구조를 형성한다. 이 과정에서 군집 수를 자동 결정하기 위해 거리 임계값을 동적으로 설정하고, 실험적으로 최적의 임계값을 찾았다.

평가 방법으로는 Amazon Mechanical Turk를 이용해 인간 평가자를 모집, 각 군집에 포함된 논문의 연관성을 5점 척도로 평가하도록 설계하였다. 평가 결과는 정밀도·재현율·F1 점수와 함께 군집 내 평균 유사도 점수로 정량화되었다. 기존의 키워드 기반 군집화 및 단순 TF‑IDF 벡터 군집화와 비교했을 때, 제안 방법은 평균 F1 점수에서 약 12%p 상승하고, 군집 내 일관성에서도 유의미한 개선을 보였다.

또한, 실시간 처리 가능성을 검증하기 위해 10,000편 규모의 데이터셋에 대해 전체 파이프라인을 실행했으며, 평균 처리 시간은 3.2초(단일 CPU 코어)로, 실시간 서비스 적용에 충분한 속도를 나타냈다. 한계점으로는 LDA의 토픽 수 선택이 결과에 큰 영향을 미치며, 매우 희소하거나 다중 분야가 혼합된 논문에서는 토픽 분해가 불안정할 수 있다는 점을 지적한다. 향후 연구에서는 비지도형 신경망 기반 토픽 모델(Latent Semantic Indexing, Neural Topic Model)과 동적 군집 수 추정 기법을 결합해 성능을 더욱 향상시킬 계획이다.