트위터로 인플루엔자 발생 예측

초록

500만 건 이상의 트위터 데이터를 8개월간 수집·분석해 독감 관련 키워드만으로도 국가 보건통계와 95% 이상의 상관관계를 달성하였다. 스팸이나 무관한 언급을 필터링하는 문서 분류기를 추가하면 가짜 경보 상황에서 오류율을 절반 이상 감소시킬 수 있다.

상세 요약

본 논문은 소셜 미디어, 특히 트위터가 전통적인 질병 감시 체계에 비해 실시간성·대규모성을 제공한다는 가정 하에 연구가 진행되었다. 500 million 개 이상의 트윗을 8개월 동안 수집한 뒤, ‘flu’, ‘influenza’, ‘fever’, ‘cough’ 등 5개의 핵심 키워드를 선정하여 일일 언급량을 집계하였다. 이 언급량을 CDC가 발표하는 인플루엔자 유행률(ILI)와 선형 회귀 모델을 통해 매핑했으며, 훈련 기간(첫 6개월)과 테스트 기간(마지막 2개월) 모두에서 Pearson 상관계수가 0.95에 달했다. 이는 기존 구글 검색 트렌드 기반 모델(상관계수 약 0.85)보다 현저히 높은 정확도이다.

하지만 키워드 기반 접근은 ‘flu shot’(독감 예방접종)이나 ‘flu season’(독감 시즌) 같은 문맥이 전혀 질병 발생과 무관한 트윗까지 포함시켜 오탐을 유발한다는 한계가 있다. 이를 보완하기 위해 저자들은 Naïve Bayes와 SVM 기반의 문서 분류기를 설계하였다. 학습 데이터는 전문가가 라벨링한 10 000개의 트윗으로 구성했으며, 특징으로는 TF‑IDF, n‑gram, POS 태그 등을 활용하였다. 분류기의 정밀도는 0.92, 재현율은 0.88로 높은 성능을 보였으며, 가짜 경보 시뮬레이션(키워드 매칭 비율을 3배로 인위적으로 증가)에서 오류율을 52% 감소시켰다.

또한 저자들은 모델의 민감도 분석을 수행해 키워드 수를 3개에서 7개로 확대했을 때 상관계수가 크게 변동하지 않으며, 특정 키워드(예: ‘cough’)가 계절성 알레르기와 혼동될 가능성을 지적하였다. 향후 연구 방향으로는 다국어 트윗 분석, 위치 기반 필터링, 그리고 딥러닝 기반 문맥 이해 모델을 도입해 잡음에 강인한 시스템을 구축하는 것이 제시되었다.