내일 헤드라인을 예측하는 오늘의 트위터 논의

초록

본 연구는 트위터에서 발생하는 사용자 참여와 반응 데이터를 활용해 다음 날 뉴욕 포스트 정치 기사 헤드라인의 인기도를 예측한다. 300개의 정치 기사와 관련 트윗을 수집·전처리한 뒤, 사용자 활동량, 감성 점수, 해시태그·언급 빈도 등 다차원 특징을 추출하고, 회귀·분류 모델을 학습시켰다. 제안 모델은 기존 내용 기반·감성 기반 베이스라인보다 높은 정확도와 F1 점수를 기록하였다.

상세 분석

이 논문은 뉴스 인기 예측 연구에서 흔히 간과되는 ‘사용자 선호’를 정량화하려는 시도로, 소셜 미디어 특히 트위터를 데이터 원천으로 삼았다. 데이터 수집 단계에서는 NY Post의 300개 정치 기사와 해당 기사에 대한 트위터 언급을 24시간 동안 크롤링했으며, 트윗을 ‘참여도(리트윗·좋아요·댓글 수)’와 ‘반응(감성 점수, 주제 키워드)’ 두 축으로 분류하였다. 감성 분석은 사전 기반 VADER와 BERT 기반 감성 분류기를 병합해 정밀도를 높였고, 키워드 추출은 TF‑IDF와 LDA 토픽 모델을 결합해 기사와 트윗 간 의미적 연관성을 파악했다.

특징 엔지니어링에서는 (1) 사용자 활동량(총 트윗 수, 활성 사용자 수), (2) 감성 평균·분산, (3) 해시태그·멘션 다양성, (4) 시간적 패턴(피크 시간대, 트윗 전파 속도) 등을 수치화했다. 이들 12개의 정량적 변수와 기사 자체의 메타데이터(길이, 키워드 매치 점수)를 결합해 다중 회귀와 Gradient Boosting, LSTM 기반 시계열 모델을 학습시켰다.

평가에서는 기사별 실제 클릭수와 SNS 공유량을 ‘인기도 점수’로 정의하고, RMSE와 MAE, 그리고 분류 과제에서는 정확도·F1·ROC‑AUC를 사용했다. 제안 모델은 기존 베이스라인(텍스트 TF‑IDF + 선형 회귀, 감성 점수만 사용한 로지스틱 회귀) 대비 RMSE 12.4% 감소, F1 점수 9.7% 상승을 기록했다. 특히 ‘사용자 참여도’ 변수가 ‘감성’보다 예측에 더 큰 기여도를 보였으며, 피처 중요도 분석에서 ‘리트윗 비율’과 ‘시간대별 트윗 급증’이 핵심 요인으로 도출되었다.

한계점으로는 정치 기사에 국한된 샘플링, 트위터 사용자 층의 편향성, 그리고 실시간 데이터 흐름을 반영하지 못한 정적 모델 구조를 들 수 있다. 향후 연구에서는 다중 플랫폼(페이스북, 레딧) 데이터를 통합하고, 온라인 학습을 통해 실시간 예측 성능을 향상시키는 방안을 제시한다.