온라인 밀도 기반 클러스터링을 통한 실시간 서사 진화 모니터링

초록

본 연구는 대규모 다국어 소셜 미디어 스트림에서 서사 탐지를 위해 배치형 HDBSCAN을 대체할 수 있는 온라인 밀도 기반 클러스터링 알고리즘을 평가한다. 슬라이딩 윈도우 시뮬레이션과 인간 평가를 결합한 실험 결과, DenStream이 클러스터 품질, 연산 효율성, 메모리 사용 측면에서 가장 우수함을 확인하였다.

상세 분석

이 논문은 소셜 미디어와 같은 연속적인 데이터 스트림에서 서사 정보를 실시간으로 추출하기 위한 핵심 병목이 되는 배치형 클러스터링, 특히 HDBSCAN의 한계를 명확히 제시한다. HDBSCAN은 계층적 구조와 가변 밀도 클러스터를 잘 탐지하지만, 매 시간 윈도우마다 전체 데이터를 메모리로 로드하고 O(N log N) 복잡도로 재학습해야 하므로 대규모 운영 환경에서는 비현실적이다. 이러한 문제를 해결하고자 저자들은 DBSTREAM, DenStream, TextClust 등 온라인 밀도 기반 알고리즘을 선택하고, River 라이브러리 구현을 실제 파이프라인에 삽입해 비교 실험을 설계했다.

실험 설계는 6일간의 사전 학습 데이터(≈ 69 k 문서)와 목표 일일 데이터(≈ 11 k 문서)로 구성된 두 단계 프로세스를 채택했다. 임베딩 단계에서는 다국어 MiniLM‑v2를 사용해 문서를 384‑차원 벡터로 변환하고, UMAP으로 차원을 축소해 클러스터링 효율을 높였다. 이후 각 알고리즘은 동일한 임베딩을 입력받아 온라인 업데이트와 클러스터 할당을 수행한다.

평가 지표는 전통적인 Silhouette Score와 Davies‑Bouldin Index 외에도 서사 전용 메트릭인 Narrative Distinctness, Contingency, Variance를 도입해 클러스터의 의미적 구분도와 일관성을 정량화했다. 또한 인간 평가자를 세 명 배치해 각 클러스터가 실제 서사로서 타당한지 여부를 판단하게 함으로써 Cohen’s κ와 Krippendorff’s α를 계산했다.

결과적으로 DenStream은 Silhouette 0.685, DBI 0.453이라는 최고의 전통 지표를 기록했으며, Narrative Distinctness에서도 HDBSCAN에 근접한 0.319를 달성했다. 메모리 사용량과 처리 시간에서도 배치 HDBSCAN보다 현저히 낮은 수치를 보였다. 반면 DBSTREAM은 고차원 임베딩 공간에서 마이크로‑클러스터가 과도하게 분산돼 Silhouette 0.327, DBI 1.220으로 성능이 크게 떨어졌다. 인간 평가에서는 DenStream이 84 %의 수용률과 κ 0.83, α 0.83이라는 가장 높은 일관성을 얻었으며, 이는 자동화된 서사 레이블링 단계에서 해석 가능성을 크게 향상시킨다.

또한 논문은 River 구현에서 발견된 파라미터 초기화와 마이크로‑클러스터 수명 관리 이슈를 상세히 분석하고, 실운영에 적용하기 위한 튜닝 가이드라인을 제시한다. 전체적으로 DenStream이 배치 HDBSCAN을 대체할 수 있는 실용적인 솔루션임을 입증하면서, 온라인 밀도 기반 클러스터링이 실시간 서사 모니터링 시스템의 확장성과 반응성을 동시에 만족시킬 수 있음을 보여준다.