오픈소스 LLM으로 소셜 미디어 악성 콘텐츠 자동 검증

초록

본 연구는 최신 오픈‑weight(오픈소스) 대형 언어 모델이 Bluesky 플랫폼의 실시간 게시물에 대해 해로운 콘텐츠(무례, 편견, 위협)를 탐지하는 능력을 평가한다. 7개의 최신 모델(3개 오픈‑weight, 3개 상용, 1개 비추론형)과 Bluesky Moderation Service의 라벨을 기준으로 민감도와 특이도를 비교했으며, 오픈‑weight 모델이 민감도 81‑97%, 특이도 91‑100% 수준으로 상용 모델과 거의 동등함을 확인했다. 또한 범주별 오류 특성이 다름을 밝혀, 무례 탐지는 특이도가 높고 편견·위협 탐지는 민감도가 낮은 패턴을 보였다. 연구 결과는 개인 프라이버시를 보호하면서도 소비자 수준 하드웨어에서 실시간 모더레이션이 가능함을 시사한다.

상세 분석

이 논문은 최근 발표된 추론 능력을 갖춘 오픈‑weight LLM이 실제 소셜 미디어 환경에서 해로운 콘텐츠를 제로샷으로 탐지할 수 있는지를 체계적으로 검증한다. 데이터는 2025년 8월 Bluesky에서 수집한 4,339,221개의 텍스트 전용 루트 포스트 중 라벨이 부착된 ‘무례(rude)’, ‘편견(intolerant)’, ‘위협(threat)’ 게시물을 각각 최소 520개씩 추출하고, 라벨이 없는 무작위 샘플 786개를 인간 어노테이터 두 명이 독립적으로 재라벨링해 ‘그라운드 트루스’를 구축하였다. 모델은 (1) gpt‑oss‑20b, NVIDIA‑Nemotron‑Nano‑9B‑v2, Qwen3‑30B‑A3B‑Thinking‑2507 등 3개의 오픈‑weight 추론 모델, (2) Gemini 2.5 Pro, GPT‑5, Grok 4 등 3개의 상용 추론 모델, (3) GPT‑4o 비추론 모델을 포함한다. 모든 모델은 동일한 체인‑오브‑생각 프롬프트와 온도 0, 고정 시드(350) 하에 실행돼 재현성을 확보하였다.

평가 지표는 민감도(Recall)와 특이도(Specificity)이며, 인간 라벨을 기준으로 오픈‑weight 모델은 민감도 81‑97%, 특이도 91‑100%를 기록해 상용 모델(민감도 72‑98%, 특이도 93‑99%)과 겹치는 성능을 보였다. 특히 ‘무례’ 범주에서는 특이도가 민감도보다 높았으며, ‘편견’·‘위협’에서는 반대로 민감도가 낮아 오류 유형이 다름을 확인했다. 이는 라벨 정의와 인간 어노테이터 간의 모호성이 범주별 성능 차이를 야기한다는 점을 시사한다.

또한, 인간 모더레이터와 LLM 간의 인터레이터(Inter‑rater) 일치도를 분석한 결과, 오픈‑weight 모델이 인간과 거의 동등한 수준의 합의를 이루었으며, 이는 개인화된 모더레이션이나 프라이버시 보호가 요구되는 환경에서도 충분히 활용 가능함을 의미한다. 모델이 24 GB VRAM을 갖춘 RTX 3090 한 대에 모두 적재될 수 있다는 점은 비용 효율적인 배포가 현실적임을 강조한다.

한계점으로는 라벨이 영어 텍스트에만 국한됐으며, 멀티모달(이미지·동영상) 콘텐츠에 대한 확장성이 검증되지 않았고, 라벨링 정책이 Bluesky 고유의 규칙에 기반하므로 다른 플랫폼에 바로 적용하기엔 추가 검증이 필요하다. 향후 연구에서는 다언어·다모달 데이터셋 구축, 라벨 정의 표준화, 그리고 사용자 맞춤형 임계값 튜닝을 통해 보다 정교한 모더레이션 프레임워크를 설계할 여지가 있다.