소셜미디어 토론 품질: 악의적 대화의 실태와 자동 판별

초록

본 논문은 미국 주류 언론 및 정부 기관 트위터 계정에 달린 댓글을 분석해, 대화가 ‘좋은 신앙(good faith)’인지 ‘악의적(bad faith)’인지 구분한다. 31,283개의 댓글 중 68.3%가 악의적이며, 검증된(verified) 계정의 경우 81.3%가 악의적이다. LLM인 ChatGPT‑4가 인간 코더와 유사한 정확도로 자동 라벨링이 가능함을 보여준다.

상세 분석

이 연구는 소셜미디어 대화 품질을 정량화하려는 시도로, ‘좋은 신앙’과 ‘악의적’ 상호작용을 구분하는 코딩 프레임워크를 제시한다. 먼저 사르트르와 요한센의 철학적 논의를 바탕으로 악의적 댓글의 특징(증거 무시, 일반화, 주제 전환, 인신공격, 허위정보 등)과 좋은 신앙 댓글의 특징(증거 기반 논증, 건설적 비판, 정중한 어조 등)을 정의한다. 데이터는 2024년 기준, 팔로워 수·댓글 수가 많은 미국 주요 언론(NBC, CBS, CNN 등)과 연방 정부 기관(국무부, NASA 등)의 트윗을 대상으로, 각 트윗당 100개 이상 댓글이 달린 601개 포스트를 선정해 52,469개의 댓글을 수집하였다. 개인정보 보호와 플랫폼 이용 약관을 고려해 원본 데이터는 비공개이며, 연구자 요청 시 제공한다.

코딩 단계에서는 무작위로 400개의 트윗‑댓글 쌍을 인간 코더 두 명이 독립적으로 라벨링하고, 제3 코더가 의견 차이를 중재해 최종 ‘ground truth’를 만든다. 인간 코더 간 일치도는 Cohen’s κ = 0.64(중간 수준)였으며, 이는 대화 맥락의 주관적 해석이 존재함을 시사한다. 이후 ChatGPT‑4에 동일한 코딩 규칙을 프롬프트로 제공해 자동 라벨링을 수행했으며, 인간 라벨과의 일치도는 89.0% (κ = 0.75)로 인간 수준에 근접했다. 구체적으로, 좋은 신앙 탐지에서 정밀도 84.43%, 재현율 81.75%를, 악의적 탐지에서 정밀도 91.64%, 재현율 92.98%를 기록했다.

전체 데이터에 ChatGPT를 적용한 결과, 전체 댓글 중 24.9%만이 좋은 신앙으로 분류되었으며, 검증된 계정의 경우 18.7%에 불과했다. 검증된 계정은 댓글 순위가 상위에 배치될수록 악의적 비율이 높아, 알고리즘적 증폭이 토론 품질을 악화시킬 가능성을 보여준다(순위와 검증 계정 비율 간 r = ‑0.85). 또한, 검증 계정의 평균 순위는 32.8위로 비검증 계정(59.8위)보다 현저히 앞섰다.

연구는 다음과 같은 시사점을 제공한다. 첫째, LLM을 활용한 자동 라벨링이 인간 코딩 비용을 크게 절감하면서도 신뢰할 만한 결과를 제공하므로, 대규모 토론 품질 모니터링에 실용적이다. 둘째, 검증된 사용자(특히 유명 인플루언서·공인)의 악의적 발언이 플랫폼 알고리즘에 의해 확대되는 구조적 문제를 드러낸다. 이는 ‘관심·참여’를 우선시하는 비즈니스 모델이 토론 건강을 저해할 수 있음을 의미한다. 셋째, 현재의 이진 분류는 복잡한 커뮤니케이션 행동을 과도하게 단순화한다는 한계가 있다. 인간 코더 간 κ가 0.64에 머문 점은 ‘악의적’ 여부가 상황에 따라 미묘하게 변할 수 있음을 보여준다. 따라서 향후 연구에서는 다중 단계 라벨(예: 수준별 악의성, 의도·감정 등)이나 맥락 기반의 연속형 점수를 도입해 정교한 모델을 구축할 필요가 있다.

마지막으로, 연구 범위가 고참여 트윗(언론·정부 공식 계정)으로 제한됐기 때문에 일반 트위터 사용자 간 대화나 다른 플랫폼(예: 블루스카이, 레딧)으로의 일반화는 조심해야 한다. 그러나 권위 있는 정보원에 대한 악의적 반응이 높은 비율을 차지한다는 점은, 민주적 여론 형성 과정에서 디지털 토론 환경의 취약성을 경고한다.