링크 이상 탐지를 통한 소셜 스트림 신흥 주제 발견

초록

본 논문은 트위터와 같은 소셜 네트워크에서 사용자 간 멘션(언급) 관계를 모델링하여, 새로운 주제가 등장하는 시점을 텍스트 기반 키워드 빈도보다 조기에 탐지하는 방법을 제안한다. 멘션 수와 멘션 대상 사용자를 확률적으로 설명한 모델로 이상 점수를 산출하고, 이를 다수 사용자에 걸쳐 집계한 뒤 SDNML 기반 변화점 검출과 동적 임계값 최적화를 적용한다. 실험 결과, 제안 기법은 특히 키워드가 모호하거나 비텍스트 콘텐츠가 주를 이룰 때 기존 방법보다 빠른 탐지를 보였다.

상세 분석

이 연구는 소셜 미디어에서 “멘션”이라는 링크 구조를 텍스트와 동등하게 중요한 신호로 간주한다는 점에서 혁신적이다. 저자는 각 사용자의 포스트를 (멘션 수 k, 멘션 대상 집합 V) 형태로 표현하고, k는 파라미터 θ를 갖는 기하분포, V는 사용자별 확률 πᵥ를 갖는 다항분포로 가정한다. 기하분포의 사전은 베타(α,β)이며, 베타‑기하 모델을 통해 사후 예측분포 P(k|T) 를 닫힌 형태로 유도한다(식 4). 멘션 대상에 대해서는 최대우도 추정이 희소성 문제를 일으키므로, 중국 레스토랑 프로세스(CRP)를 차용해 새로운 사용자에 대한 비정규화 확률 γ를 할당한다(식 5‑6). 이렇게 정의된 확률 모델을 기반으로, 새로운 포스트 x에 대한 로그-우도 기반 이상 점수 s(x)=−log P(k|T)−∑_{v∈V}log P(v|T) 를 계산한다.

이상 점수는 시간 창 τ(예: 1분) 내에 발생한 모든 포스트에 대해 평균을 취해 시계열 s′_j 로 변환한다(식 8). 이후 두 단계의 SDNML(Sequentially Discounting Normalized Maximum Likelihood) 코딩을 적용한다. 첫 번째 단계에서는 s′j 를 AR 모델에 맞춰 SDNML 밀도 p_SDNML(x_j|x{j‑1}) 를 학습하고, 로그 손실을 κ 길이의 이동 평균으로 부드러워 y_j 를 만든다. 두 번째 단계에서는 y_j 에 대해 다시 SDNML을 적용해 최종 변화점 점수 Score(y_j)를 얻는다(식 9).

점수의 분포는 동적 임계값 최적화(DTO) 알고리즘을 통해 실시간으로 적응형 임계값 η(j)를 추정한다. 히스토그램 기반의 tail‑probability 제어를 사용해, 사전 정의된 허용 오차 ρ(예: 0.05) 이하가 되도록 임계값을 조정한다. 이때 알람은 Score(y_j) ≥ η(j) 일 때 발생한다.

실험은 트위터에서 수집한 네 개의 실제 토픽 데이터셋(‘Job hunting’, ‘YouTube’, ‘NASA’, ‘BBC’)에 대해 수행되었다. 각 데이터셋은 토픽에 관련된 사용자 집합을 사전에 정의하고, 해당 사용자들의 멘션 로그를 수집했다. 제안 방법은 동일 데이터에 대해 키워드 빈도 기반 변화점 검출(키워드 선택 후 DTO 적용)과 비교되었으며, 두 경우 모두 동일한 DTO 파라미터(ρ=0.05, NH=20 등)를 사용했다. 결과는 멘션 기반 이상 점수가 키워드 빈도보다 빠르게 급증함을 보여주었으며, 특히 ‘NASA’와 ‘BBC’처럼 키워드가 다의어 혹은 이미지·동영상 중심인 경우 10~30분 정도 앞서 탐지되었다. 또한, Kleinberg의 버스트 모델을 멘션 점수와 키워드 빈도에 각각 적용했을 때, 멘션 기반 버스트가 더 높은 정밀도와 재현율을 기록했다.

이 논문의 핵심 기여는 (1) 멘션 행동을 확률적으로 모델링해 사용자별 정상 패턴을 학습하고, (2) 이상 점수를 집계해 전체 네트워크 수준의 변화점을 감지하는 파이프라인을 제시한 점, (3) SDNML과 DTO를 결합해 실시간, 비정상적인 급증을 자동으로 알람하는 메커니즘을 구현한 점이다. 한계로는 멘션 데이터가 희소한 사용자(예: 저활동 계정)의 경우 사전 γ 파라미터 선택에 민감할 수 있으며, 모델이 멘션 수와 대상만을 고려하므로 멘션 내용 자체(예: 텍스트 의미)까지는 반영하지 못한다는 점이다. 향후 연구에서는 멘션 텍스트와 이미지 메타데이터를 통합한 다중모달 확률 모델링과, 그래프 신경망을 이용한 동적 연결 구조 학습을 결합해 탐지 정확도를 더욱 향상시킬 여지가 있다.