트위터 트래픽 분석을 위한 재생밀도 활용

초록

본 논문은 트위터 메시지의 도착 시각을 재생 이론에 적용해 트래픽의 상관성 및 주기성을 정량화한다. 시간 간격만을 이용해 메시지 흐름의 상호작용 정도와 스팸 여부를 저복잡도 방식으로 판단할 수 있음을 보인다.

상세 분석

본 연구는 트위터와 같은 소셜 미디어에서 발생하는 비동기식 메시지 흐름을 재생 프로세스로 모델링한다. 먼저 각 트윗이 발생한 시각을 순서대로 정렬하고, 인접 트윗 사이의 인터-에벤트 간격을 랜덤 변수 X₁, X₂, … 로 정의한다. 이러한 간격들의 합인 Sₙ은 n번째 트윗이 발생한 누적 시간이며, 재생 과정 N(t)=max{n:Sₙ≤t}는 주어진 시간 구간 t 내에 발생한 트윗 수를 나타낸다. 재생 밀도 r(t)=∑{n=1}^{∞} f{Sₙ}(t)는 특정 시점 t에서 새로운 트윗이 도착할 확률 밀도를 제공한다. 논문은 두 가지 핵심 지표를 도출한다. 첫째, 경험적 재생 밀도 \hat{r}(t)를 히스토그램 기반 커널 추정으로 구하고, 이를 포아송(무상관) 모델의 이론적 밀도와 비교한다. 차이가 클수록 트윗 간에 상호작용(예: 리트윗, 대화)이나 외부 이벤트에 의한 동기화가 존재한다는 증거가 된다. 둘째, \hat{r}(t)에서 뚜렷한 피크가 주기적으로 나타나는 경우를 탐지한다. 이는 자동화된 봇이나 스팸 계정이 일정 간격으로 메시지를 전송하는 패턴을 의미한다. 논문은 이러한 피크 탐지를 위해 푸리에 변환과 스펙트럼 분석을 보조적으로 사용하지만, 핵심 판단 기준은 재생 밀도의 비정상적 상승이다. 또한, 데이터 양을 크게 줄이기 위해 다운샘플링(예: 1초당 1개 샘플) 후에도 재생 밀도 추정이 안정적으로 유지되는 것을 실험적으로 확인한다. 실험에서는 10개 이상의 실제 트위터 해시태그 스트림을 수집하고, 각 스트림에 대해 상관성 지표와 주기성 지표를 계산하였다. 결과는 높은 상관성을 보이는 트렌드 해시태그(#WorldCup 등)와 낮은 상관성을 보이는 일반 뉴스 피드가 명확히 구분됨을 보여준다. 또한, 스팸 의심 계정이 생성한 트윗은 강한 주기적 피크를 나타내어 재생 밀도 기반 탐지가 효과적임을 입증한다. 이와 같이 시간 간격만을 이용한 재생 이론 적용은 내용 기반 텍스트 분석보다 계산 비용이 낮으며, 실시간 모니터링 시스템에 쉽게 통합될 수 있다.