구글 Perspective API를 위한 부정어 공격 방어 전략

초록

본 논문은 독성 댓글 탐지를 위해 널리 사용되는 Google Perspective API가 ‘not’과 같은 부정어에 취약함을 지적하고, 형식 논리 추론 모듈을 전·후처리 단계에 삽입해 기존 머신러닝 모델의 점수를 보정하는 하이브리드 방어 체계를 제안한다. 부정 구문을 감지해 휴리스틱 점수 조정 또는 반의어 교체·패러프레이즈 생성 후 평균 점수를 재계산함으로써, 부정 공격에 대한 정확도를 크게 향상시킨다.

상세 분석

이 연구는 현재 가장 널리 사용되는 독성 검출 서비스인 Google Perspective API가 부정어(예: “not”, “never”)가 삽입된 문장에 대해 여전히 높은 독성 점수를 부여한다는 근본적인 한계를 지적한다. 저자들은 이를 해결하기 위해 두 가지 핵심 아이디어를 제시한다. 첫째, 형식 논리 추론 모듈을 전처리 단계에 두어 문장의 부정 구문을 정확히 식별한다. 이를 위해 Stanford POS 태거와 재귀 파싱을 활용해 부정이 영향을 미치는 토큰을 추출하고, 논리 NOT 연산을 적용해 해당 구문의 독성 점수를 1‑TS 로 반전시킨다. 점수 재조합은 각 구문의 길이 비율을 가중치(w_i)로 사용한 식(1)‑(4)로 구현되며, 단순히 전체 점수를 반전시키는 것이 아니라 부정이 적용된 구문만 선택적으로 보정한다.

둘째, 부정 구문에 포함된 단어를 반의어로 교체하고, 교체된 문장을 Parrot 파라프레이징 모델에 입력해 다수의 의미 유지 파라프레이즈를 생성한다. 이렇게 생성된 파라프레이즈 집합에 대해 독성 모델을 재차 호출하고, 평균 점수를 최종 독성 점수로 채택한다. 반의어 검색은 Thesaurus와 OneLook Reverse Dictionary를 활용하고, Lesk 알고리즘으로 문맥을 고려해 의미 모호성을 최소화한다.

실험에서는 BERT, RoBERTa, LSTM 등 4가지 머신러닝 기반 독성 모델에 대해 제안된 전·후처리 방식을 적용하였다. 부정 공격 데이터셋(‘not’ 삽입 변형)에서 기존 Perspective API는 평균 독성 점수 감소가 거의 없었으나, 휴리스틱 보정 방식은 평균 0.12→0.04 수준으로 감소시켰고, 반의어·패러프레이즈 방식은 0.12→0.03까지 낮추었다. 또한, 정상 문장에 대한 오탐률은 미미하게 증가했으며, 전체 처리 시간은 평균 150ms 내외로 실시간 서비스 적용 가능성을 보였다.

한계점으로는(1) 부정 구문 탐지를 위한 파싱 정확도가 문장 구조가 복잡하거나 비표준 언어(슬랭, 이모지)에서는 떨어질 수 있다. (2) 반의어 교체 시 의미 왜곡 위험이 존재하며, 특히 다의어가 많은 경우 Lesk 기반 의미 선택이 부정확할 수 있다. (3) Parrot 파라프레이징 모델 자체가 대규모 GPU 자원을 요구하므로, 고트래픽 환경에서는 배치 처리 혹은 경량화 모델이 필요하다. 그럼에도 불구하고, 형식 논리와 통계적 학습을 결합한 ‘Learn2Reason’ 접근법이 부정 공격 방어에 효과적임을 실증적으로 입증하였다.