위키백과 악의적 편집 자동 탐지

초록

본 논문은 영어 위키백과 편집 기록을 대상으로, 단어 빈도 기반의 확률적 로지스틱 회귀 모델을 학습시켜 악의적 편집(바란디즘)을 자동으로 식별한다. 모델의 출력 확률을 등등성 회귀(isotonic regression)로 보정하고, 학습 곡선, 신뢰도 다이어그램, ROC 곡선 및 비용 민감도 분석을 통해 성능을 종합적으로 평가한다.

상세 요약

이 연구는 위키백과 편집 로그에서 악의적 편집을 탐지하기 위해 전통적인 bag‑of‑words(BOW) 접근법을 채택하였다. 원본 텍스트와 편집 후 텍스트를 각각 토큰화하고, 삽입·삭제된 단어들의 빈도를 차분 형태로 피처 벡터에 반영한다. 또한, 편집 길이, 사용자 신뢰도, 편집 시간대 등 메타 정보를 부가 피처로 포함시켜 모델의 표현력을 강화하였다. 피처 차원이 수십만에 달함에도 불구하고, L2 정규화를 적용한 로지스틱 회귀를 사용함으로써 과적합을 방지하고 계산 효율성을 확보하였다. 학습 단계에서는 200 000건 이상의 라벨링된 편집 데이터를 무작위 80 %를 훈련, 20 %를 검증에 할당했으며, 교차 검증을 통해 최적의 정규화 파라미터 λ를 탐색하였다. 모델이 출력하는 원시 확률은 종종 과신하거나 보수적인 경향을 보였는데, 이를 보정하기 위해 등등성 회귀(isotonic regression)를 적용하였다. 등등성 회귀는 비선형 보정 함수를 학습해 실제 관측된 라벨과 예측 확률 사이의 일관성을 높이며, 특히 임계값 선택이 중요한 비용 민감도 시나리오에서 유용하였다. 평가 지표로는 정확도, 정밀도·재현율, F1 점수 외에 ROC 곡선 아래 면적(AUC)과 신뢰도 다이어그램을 제시하였다. 학습 곡선 분석 결과, 훈련 데이터 양이 10 % 수준에서도 이미 높은 AUC(0.92 이상)를 달성했으며, 데이터 규모가 증가함에 따라 성능 향상이 점진적으로 포화되는 모습을 보였다. 비용 분석에서는 악의적 편집을 놓치는 비용과 정상 편집을 오탐지하는 비용을 각각 5배, 1배로 가정하고, 최적의 의사결정 임계값을 0.35로 설정하였다. 이 임계값에서는 전체 비용이 최소화되면서 재현율은 0.78, 정밀도는 0.81에 도달한다. 전체적으로, 단순한 BOW와 정규화 로지스틱 회귀 조합이 복잡한 딥러닝 모델에 비해 구현·운용 비용이 낮으면서도 실용적인 성능을 제공함을 입증하였다.