사용자 맞춤형 에이전트 기반 온라인 괴롭힘 필터링

초록

본 논문은 온라인 소셜 네트워크에서 사용자의 개인별 괴롭힘 인식 차이를 반영한 에이전트 기반 적응형 필터링 시스템을 제안한다. 다중 괴롭힘 카테고리를 정의하고, 트위터 데이터를 크라우드소싱 설문으로 라벨링하여 26,000여 건의 사용자 피드백을 수집하였다. 통계 분석(ANOVA, Tukey HSD, Wilcoxon) 결과, 카테고리와 강도에 따라 필터링 선호도가 유의하게 다름을 확인했다. 이를 바탕으로 개별 사용자를 위한 적응형 에이전트를 학습시켰으며, 일반 모델 및 다수결 기반 베이스라인보다 높은 정밀도와 사용자 만족도를 달성하였다.

상세 분석

이 연구는 기존의 전역적 콘텐츠 모더레이션 접근법이 사용자마다 괴롭힘에 대한 감수성이 크게 다르다는 심리·행동학적 근거를 무시한다는 점을 비판한다. 저자들은 먼저 사이버 괴롭힘을 12개의 세부 카테고리(예: 일반 괴롭힘, 종교·인종·민족 비방, 성적 지향 기반 비방 등)로 구분한 체계적인 분류 체계를 제시한다. 이 분류는 기존 문헌을 메타분석하여 도출했으며, 각 카테고리별 핵심 키워드를 정의해 트위터 API를 통해 데이터를 수집하였다. 초기 8,000개의 트윗 중 전처리와 라벨링 과정을 거쳐 5,231개의 유효 샘플을 확보했고, 라벨링 일관성이 낮은 경우가 다수 발견돼 인간 인식의 변동성을 확인했다.

다음 단계에서는 Amazon Mechanical Turk를 활용해 360명의 작업자에게 각 트윗에 대해 ‘괴롭힘 강도(없음·미미·보통·높음·극심)’와 ‘필터링 여부’를 물었다. 각 작업자는 75개의 트윗을 평가했으며, 동일 트윗당 5명의 응답을 받아 총 26,500여 건의 응답을 구축했다. 통계적으로는 ANOVA를 통해 강도 수준이 필터링 선택에 미치는 영향을 검증했으며, F값이 유의수준(p<0.01) 이하로 나타나 강도와 필터링 선호 사이에 유의한 차이가 있음을 입증했다. Tukey HSD 사후 검정은 특히 ‘극심’ 수준에서 다른 모든 강도와 차이가 뚜렷함을 보여주었다. Wilcoxon 순위합 검정은 카테고리별 필터링 비율 차이도 통계적으로 유의함을 확인했다(예: 종교·인종 비방은 일반 괴롭힘보다 필터링 비율이 현저히 높음).

이러한 실증적 근거를 바탕으로 저자들은 ‘사용자 적응형 에이전트’를 설계했다. 각 사용자는 자신의 응답 데이터를 기반으로 개별적인 분류 모델(예: 로지스틱 회귀, SVM, 혹은 경량 신경망)을 학습시키며, 실시간 피드백을 통해 필터링 임계값을 동적으로 조정한다. 실험에서는 세 가지 모델을 비교했다: (1) 전체 데이터에 대해 학습된 일반 모델, (2) 다수결 기반(전체 사용자 평균) 베이스라인, (3) 개인별 적응형 에이전트. 평가 지표는 정밀도, 재현율, F1-score, 그리고 설문 기반 사용자 만족도 점수였다. 결과는 개인화 에이전트가 정밀도 0.87, F1 0.84 등에서 일반 모델(정밀도 0.71, F1 0.68)보다 현저히 우수했으며, 사용자 만족도 역시 15% 이상 상승함을 보여준다.

기술적 기여는 크게 다섯 가지로 요약된다. 첫째, 심리학·사회학 기반의 다중 괴롭힘 카테고리 체계 구축; 둘째, 26,000여 건의 대규모 사용자 감수성 설문 데이터베이스 제공; 셋째, 통계적 검증을 통한 감수성 변동성 입증; 넷째, 에이전트 기반 적응형 필터링 아키텍처 설계; 다섯째, 개인화 모델이 일반 모델을 능가한다는 실증적 증거 제공이다. 이 연구는 온라인 안전 시스템 설계 시 ‘사용자 중심 맞춤형 모더레이션’의 필요성을 강력히 시사한다.