소셜 스트림에서 이벤트 진화 실시간 추적

초록

본 논문은 트위터·포럼 등 실시간 소셜 포스트 스트림을 슬라이딩 윈도우와 진화 그래프 모델을 이용해 이벤트의 탄생·소멸·성장·감소·병합·분할 등 6가지 진화 패턴을 실시간으로 추적한다. 핵심 포스트만 남긴 “스케치 그래프”와 증분 업데이트 알고리즘(cTrack, eTrack)을 제안하고, 워드클라우드 시각화와 5.2 백만 포스트 데이터 실험을 통해 높은 정확도와 확장성을 입증한다.

상세 분석

이 논문은 소셜 미디어 스트림을 “포스트 네트워크”라는 동적 그래프로 모델링한다. 각 포스트는 노드이며, 내용 유사도와 시간 근접성을 결합한 페이딩 유사도 SF(p_i,p_j)=S(p_i,p_j)·D(|τ_i−τ_j|) 가 사전 정의된 임계값 ε₀ 를 초과하면 양방향 엣지를 생성한다. 여기서 S는 엔티티 기반 Jaccard 유사도, D는 지수 감쇠 함수(e^{|Δτ|}) 로 구현돼, 최근 포스트가 더 강하게 연결되도록 설계되었다.

시간 창은 고정 길이 슬라이딩 윈도우이며, 윈도우 밖의 포스트는 자동으로 퇴장한다. 이때 발생하는 대규모 노드·엣지 삽입·삭제를 효율적으로 처리하기 위해 스케치 그래프 개념을 도입한다. 스케치 그래프는 원본 네트워크에서 핵심 포스트(핵심 노드)와 핵심 엣지만을 보존한다. 핵심 포스트는 두 가지 밀도 기준을 만족한다: (1) 주변 이웃 수가 δ₁ 이상, (2) 핵심 이웃과의 연결 비율이 ε₁ 이상이다. 이러한 필터링은 잡음 포스트를 자연스럽게 제거하면서도 이벤트의 구조적 핵심을 유지한다.

스케치 그래프 위에서 클러스터를 정의하고, 이를 이벤트로 매핑한다. 이벤트는 클러스터의 집합이며, 각 이벤트는 클러스터 내 핵심 포스트들의 빈도 기반 워드클라우드로 시각화된다. 이벤트 진화는 원시 연산(삽입, 삭제, 병합, 분할 등)으로 표현되며, 이를 기반으로 cTrack(클러스터 트래킹)와 eTrack(이벤트 트래킹) 알고리즘이 설계된다. cTrack은 새로 들어온 포스트가 기존 클러스터에 속하는지 판단하고, 필요 시 클러스터를 분할하거나 새 클러스터를 생성한다. eTrack은 클러스터 간 연결 관계와 시간 흐름을 분석해 이벤트의 탄생·소멸·성장·감소·병합·분할을 실시간으로 감지한다. 두 알고리즘 모두 증분 업데이트 방식으로, 전체 그래프를 재구성하지 않고 변화된 서브그래프만 처리함으로써 초당 수천 건의 포스트를 처리할 수 있는 성능을 달성한다.

실험에서는 5.2 백만 개의 트위터 포스트(2012년 1월~3월)를 사용해 6가지 진화 패턴을 정량적으로 평가하였다. 정밀도·재현율 모두 0.85 이상을 기록했으며, 기존 방법(시간별 매칭 기반) 대비 평균 3배 이상의 처리 속도 향상을 보였다. 또한, 워드클라우드 시각화는 사용자가 이벤트의 핵심 토픽을 직관적으로 파악하도록 돕는다.

이 논문의 주요 기여는 다음과 같다. (1) 페이딩 유사도를 통한 시간‑내용 복합 유사도 모델링, (2) 핵심 포스트 기반 스케치 그래프를 이용한 잡음 억제와 메모리 절감, (3) 증분 클러스터·이벤트 트래킹 알고리즘(cTrack, eTrack) 설계, (4) 실시간 이벤트 진화 시각화와 대규모 스트림에 대한 확장성 검증. 이러한 접근은 기존 이벤트 탐지 연구를 넘어, 소셜 스트림에서 발생하는 복합적인 사건 흐름을 지속적으로 모니터링하고 의사결정에 활용할 수 있는 기반을 제공한다.