클릭베이트 탐지와 정보성 측정의 새로운 결합

초록

본 논문은 변형된 텍스트 임베딩과 15개의 언어학적 정보성 특징을 결합한 하이브리드 모델을 제안한다. XGBoost 기반 분류기가 TF‑IDF, Word2Vec, GloVe, GPT‑4 프롬프트 방식 등을 능가하는 91 % F1 점수를 기록했으며, 두드러진 특징으로는 2인칭 대명사, 최상급 형용사, 숫자, 감탄 부호 등이 있다. 코드와 학습 모델을 공개해 재현성을 확보했다.

상세 분석

이 연구는 클릭베이트 헤드라인을 단순 이진 분류를 넘어 정보성(informativeness)이라는 정량적 지표로 확장하려는 시도를 중심으로 전개된다. 먼저 저자들은 Kaggle‑1, Kaggle‑2, Clickbait Challenge 2017, SemEval Spoiling 등 네 개의 공개 데이터셋을 수집·정제하여 총 90 000여 개의 샘플을 포함하는 통합 코퍼스를 구축했다. 데이터 전처리 단계에서는 영어만을 남기고 중복과 결측을 제거했으며, Clickbait Challenge 2017의 4단계 라벨을 0.5 임계값으로 이진화했다.

핵심 기여는 15개의 명시적 정보성 특징을 설계한 점이다. 이 특징들은 단어 수, 정지어 비율, 대문자 비율, 최상급 형용·부사 비율, Flesch 읽기 쉬움 점수, 감성 polarity, 제목‑본문 유사도 등으로 구성된다. 특히 최상급 형용사와 2인칭 대명사의 사용 빈도는 클릭베이트 특유의 호기심 유발 전략을 포착한다는 점에서 의미가 크다.

텍스트 표현 방법으로는 전통적인 TF‑IDF, Word2Vec, GloVe 외에도 OpenAI API를 이용한 대형 언어 모델(LLM) 임베딩을 활용했다. LLM 임베딩은 1536 차원의 고차원 벡터로 추출되었으며, 차원 축소를 위해 PCA를 적용해 200 차원으로 압축한 뒤 15개의 정보성 특징과 결합하였다. 이렇게 구성된 특성 벡터는 XGBoost와 Random Forest 두 종류의 트리 기반 분류기에 입력되었다.

실험 결과, 단순 TF‑IDF + XGBoost 모델은 F1 ≈ 0.84 수준에 그쳤지만, LLM 임베딩 + XGBoost는 F1 ≈ 0.89를 기록했다. 최종 하이브리드 모델(LLM 임베딩 + 15개 특징 + XGBoost)은 검증 셋에서 F1 = 0.91, 테스트 셋에서도 동일한 수준을 유지하며 가장 높은 성능을 보였다. Ablation study에서는 정보성 특징만 사용했을 때 F1 ≈ 0.78, 임베딩만 사용했을 때 F1 ≈ 0.86으로, 두 요소가 상호 보완적으로 작용함을 확인했다.

해석 가능성 측면에서는 SHAP 값을 활용해 각 특징이 예측에 미치는 기여도를 시각화했다. 결과는 2인칭 대명사 사용, 최상급 형용사 비율, 높은 대문자 비율이 클릭베이트로 분류될 확률을 크게 높이는 요인임을 보여준다. 이는 기존의 블랙박스 모델과 달리 인간이 이해하기 쉬운 설명을 제공한다는 점에서 실용적 가치가 크다.

또한 저자들은 모델과 코드를 공개함으로써 재현성을 강조했으며, 향후 다국어 확장, 실시간 피드백 시스템 적용, 그리고 클릭베이트 ‘스포일링’(spoiling)까지 포괄하는 멀티태스크 학습 방향을 제시한다. 전체적으로 이 논문은 최신 LLM 임베딩과 전통적인 언어학적 특징을 효과적으로 결합함으로써 클릭베이트 탐지의 정확도와 투명성을 동시에 향상시킨 점이 가장 큰 공헌이라 할 수 있다.