네덜란드 SNS에서 인종차별 감지를 위한 사전 기반 접근법

초록

본 연구는 벨기에의 두 공개 페이스북 페이지에서 수집한 네덜란드어 댓글을 대상으로, 사전(dictionary) 기반 특징을 이용해 인종차별 발언을 자동으로 탐지하는 방법을 제안한다. 훈련 데이터에서 추출한 인종차별·중립 어휘를 바탕으로 만든 기본 사전과, 대규모 네덜란드어 코퍼스로 학습한 word2vec 모델을 활용한 자동 확장 사전, 그리고 자동 확장 결과를 인간이 정제한 세 가지 사전을 구축하였다. 각 사전의 카테고리별 단어 분포를 특징으로 사용해 SVM 분류기를 학습시켰으며, 정제된 사전을 이용한 최종 모델이 테스트 셋에서 인종차별 클래스에 대해 F‑score 0.46을 기록하였다. 자동 확장은 사전 커버리지는 늘렸지만 성능 향상은 통계적으로 유의미하지 않았다.

상세 분석

이 논문은 소셜 미디어에서 인종차별 발언을 탐지하기 위해 ‘사전 기반’ 접근을 선택한 점이 가장 큰 특징이다. 먼저 두 개의 반이슬람·우익 페이스북 페이지에서 최근 게시물에 달린 댓글을 크롤링해 5,759개의 훈련 데이터를 확보했으며, 이 중 924개를 인종차별, 4,500개를 비인종차별, 335개를 무효(언어 비네덜란드어·이미지 전용)로 라벨링하였다. 라벨링 과정은 두 명의 주석자가 독립적으로 수행하고, 의견 차이는 제3의 주석자가 중재하는 방식으로 진행되었고, 훈련 코퍼스의 κ는 0.60, 테스트 코퍼스는 0.54로 비교적 낮은 일치도를 보였다. 이는 인종차별 정의가 주관적이며, 문화·지역적 차이에 따라 해석이 달라질 수 있음을 시사한다.

사전 구축은 세 단계로 이루어졌다. (1) 기본 사전은 훈련 데이터에서 직접 추출한 인종차별 관련 어휘와 중립 어휘를 수작업으로 분류하고, 국가·민족·언어 등 일반적인 용어를 추가해 편향을 완화하였다. (2) 자동 확장은 네덜란드어 대규모 코퍼스로 학습한 word2vec 모델을 이용해 기본 사전의 각 단어와 의미가 유사한 단어들을 10개씩 추출해 사전에 병합했다. (3) 마지막 단계에서는 자동 확장 과정에서 발생한 부적절하거나 의미가 흐려진 항목을 인간이 검토·제거해 정제된 사전을 만들었다. 자동 확장은 사전 커버리지를 12% 정도 증가시켰지만, 실제 분류 성능에는 유의미한 차이를 주지 못했다.

특징 추출은 각 사전 카테고리별 단어 출현 비율을 계산해 0‑1 실수형 피처 벡터로 변환하는 방식이다. 이는 LIWC와 유사하게 어휘 집합 전체 빈도가 아닌 카테고리 수준의 분포를 활용함으로써 희소성을 완화하고, 새로운 단어가 추가돼도 기존 카테고리 구조를 유지한다. 분류 모델은 선형 SVM을 사용했으며, 하이퍼파라미터(C값)는 5‑폴드 교차 검증으로 최적화하였다. 실험 결과, 정제된 사전을 사용한 모델이 가장 높은 인종차별 클래스 F‑score 0.46을 달성했으며, 기본 사전만 사용했을 때는 0.42, 자동 확장만 사용했을 때는 0.44 수준이었다. 전체 정확도는 0.78 정도였지만, 소수 클래스인 인종차별에 대한 재현율이 낮아 실제 적용 시 주의가 필요하다.

논문의 한계는 데이터 편향과 라벨링 일관성 부족이다. 두 페이스북 페이지는 이미 반이슬람·우익 성향을 가지고 있어 일반 네덜란드어 사용자 전체를 대표하지 못한다. 또한 κ가 0.60 이하인 점은 인종차별 정의가 모호함을 보여주며, 향후 보다 정교한 라벨링 가이드라인과 다문화 주석자 그룹이 필요함을 암시한다. 자동 확장 방법으로는 word2vec 외에 컨텍스트 기반 BERT 임베딩을 활용하거나, 사전 구축 단계에서 의미론적 클러스터링을 적용하면 더 효과적인 어휘 확장이 가능할 것으로 보인다.