검증 배지를 가진 트위터 사용자, 무엇이 다를까

초록

이 논문은 2018년 기준 영어권 검증 사용자 231,235명과 비검증 사용자 175,930명을 대상으로 1년간 4억 9천만 트윗을 수집·분석한다. 프로필 메타데이터, 텍스트 내용, 시간적 활동, 봇 여부 등 200여 개의 특징을 추출해 머신러닝 모델을 학습했으며, 검증 여부를 AUC > 0.99 수준으로 예측한다. 가장 중요한 예측 변수는 공개 리스트 가입 수, 중립적 감성 비중, 그리고 권위적인 언어 스타일이다.

상세 분석

본 연구는 트위터 검증 배지(Verified badge)의 내부 기준을 데이터 기반으로 추론하려는 최초 시도라 할 수 있다. 데이터 수집 단계에서 ‘@verified’ 계정을 팔로우하는 모든 계정을 크롤링해 검증 사용자 집합을 확보하고, 동일한 팔로워 수 범위 내에서 무작위 추출한 비검증 사용자를 대조군으로 설정한 점이 통계적 균형을 맞추는 데 기여한다. 그러나 팔로워 수 2% 이내 매칭이라는 기준이 검증 여부와 직접적인 인과관계를 완전히 배제하지는 못한다는 한계가 있다.

특징 설계는 크게 네 가지 축으로 나뉜다. 첫째, 프로필 메타데이터(계정 연령, 팔로워·팔로잉 수, 리스트 가입 수, 자기소개 길이 등)는 기존 연구에서 영향력 지표로 자주 활용돼 검증 가능성을 높이는 기본 변수다. 둘째, 텍스트 기반 특징은 POS 비율, 해시태그·멘션·링크 빈도, 평균 문장·단어 길이, 문자 엔트로피 등 언어적 복잡성과 스타일을 정량화한다. 특히 ‘권위적 언어 스타일’은 사전 정의된 어휘 사전(예: 전문 용어, 고빈도 명사) 사용 비율로 측정했으며, 이는 검증 사용자에게 흔히 나타나는 공식·보도 스타일과 일치한다는 점을 실증한다. 셋째, 감성 분석은 VADER 사전을 이용해 긍정·부정·중립·복합 점수를 사용자별 가중 평균으로 산출한다. 흥미롭게도 중립 감성 비중이 높을수록 검증 가능성이 상승했으며, 이는 검증 사용자가 논쟁적 표현보다 사실 전달에 초점을 맞춘다는 가설을 뒷받침한다. 넷째, 시간적 특징은 팔로워·팔로잉·트윗 수의 일일 평균 변화율, 활동 주기성, 급격한 성장 패턴 등을 포함한다. 이러한 시계열 데이터는 사용자의 성장 궤적을 포착해 검증 심사 시 ‘공공 관심도’가 지속적으로 증가하는지를 판단하는 데 활용된다.

모델링 단계에서는 로지스틱 회귀, 랜덤 포레스트, XGBoost 등 여러 알고리즘을 비교했으며, 특히 XGBoost가 가장 높은 AUC = 0.991을 기록했다. 변수 중요도 분석(Feature Importance) 결과, 리스트 가입 수가 가장 높은 기여도를 보였고, 그 뒤를 이어 중립 감성 비중, 권위적 언어 비중, 계정 연령 순이었다. 봇 탐지 지표(예: Botometer 점수)는 검증 사용자에게 낮은 값을 보였으며, 이는 검증 배지가 자동화된 계정에 부여되지 않음을 시사한다.

통계적 검증을 위해 10‑fold 교차 검증과 독립 테스트 셋을 사용했으며, 클래스 불균형을 SMOTE 기법으로 보정했다. 결과는 높은 재현율(Recall ≈ 0.97)과 정밀도(Precision ≈ 0.95)를 동시에 달성해 실용적 적용 가능성을 보여준다. 다만, 데이터가 2018년 기준이며 영어 사용자에 국한돼 있기 때문에, 비영어권 혹은 최신 정책 변화(예: 2022년 이후 검증 정책)에는 직접적인 일반화가 어려울 수 있다.

윤리적 관점에서 연구자는 사용자 개인정보를 최소화하고, 공개된 트윗만을 사용했으며, 데이터셋을 향후 공개한다는 의향을 밝힘으로써 재현성을 높였다. 그러나 검증 배지 예측 모델이 악용될 경우 ‘검증 사기’(예: 검증 가능성을 높이기 위한 인위적 리스트 가입·중립 트윗 생성) 위험이 존재하므로, 플랫폼 차원의 정책적 대응이 필요하다.

요약하면, 이 논문은 검증 배지 부여에 영향을 미치는 다차원적 신호를 정량화하고, 머신러닝을 통해 거의 완벽에 가까운 예측 모델을 구축함으로써 트위터 검증 프로세스의 ‘블랙 박스’를 부분적으로 해석한다는 의의가 있다.