교차 스타일 혐오 발언 탐지를 위한 인과 기반 표현 학습

초록

본 논문은 혐오 발언의 생성 과정을 “맥락, 동기, 대상, 스타일” 네 가지 요인으로 구성된 인과 그래프로 모델링하고, 이를 기반으로 CADET이라는 프레임워크를 제안한다. CADET은 텍스트를 잠재 공간에 매핑한 뒤 인과적 요인별로 분리하고, 플랫폼(맥락)이라는 교란 변수를 완화하며, 스타일을 개입한 반사실(counterfactual) 샘플을 생성해 스타일 불변 표현을 학습한다. 실험 결과, 기존 최첨단 모델 대비 교차 스타일 일반화에서 평균 macro‑F1 0.81을 달성하며 13% 이상의 상대적 향상을 보였다.

상세 분석

CADET은 인과 그래프를 명시적으로 설계함으로써 기존 모델이 의존하던 표면적 언어 패턴을 넘어, 혐오 의도라는 근본 원인에 초점을 맞춘다. 그래프에서 맥락(U)은 플랫폼 정책, 사용자 인구통계, 사회정치적 분위기 등으로 정의되며, 이는 동기(M), 대상(T), 스타일(S)을 동시에 영향을 미치는 교란 변수로 작용한다. 특히, 진정한 동기 M*는 U와 독립적인 도메인 불변 변수로 설정되어, 이를 추정하는 것이 교차 도메인(스타일) 일반화의 핵심 목표가 된다.

구현 측면에서 CADET은 사전학습된 RoBERTa를 인코더로 사용해 CLS 토큰을 h에 매핑하고, h로부터 네 개의 잠재 변수(z_u, z_m, z_t, z_s)를 추출한다. 연속형 변수(z_u, z_m)는 변분 오토인코더 방식으로 평균·분산을 예측하고, 이산형 변수(z_t)는 Gumbel‑Softmax를 통해 샘플링한다. 스타일(z_s)은 또 다른 연속형 변수로 처리되며, 스타일 플리핑 네트워크를 통해 명시적↔암시적 스타일 변환을 수행한다.

교란 완화는 두 단계로 이루어진다. 첫째, z_u를 추출한 뒤 Gradient Reversal Layer와 도메인 판별기를 이용해 인코더가 맥락 정보를 최소화하도록 역전파한다. 둘째, z_u와 다른 잠재 변수 간의 정규화된 상관관계를 최소화하는 정규화 항을 추가해 잠재 변수 간 독립성을 강화한다.

반사실(reasoning) 모듈은 스타일(z_s)을 개입(intervene)함으로써 동일한 동기·대상을 유지한 채 스타일만 바꾼 가상 샘플을 생성한다. 이러한 샘플을 원본과 동일한 레이블(혐오)로 학습시켜, 모델이 스타일에 의존하지 않고 M*에 기반한 판단을 하도록 강제한다. 손실 함수는 재구성 손실, 교란 억제 손실, 스타일 독립성 손실, 반사실 일관성 손실을 가중합한 형태이며, 각 손실의 가중치는 검증 데이터셋을 통해 튜닝된다.

실험은 다중 플랫폼(예: Twitter, Reddit, Gab)과 명시적·암시적 스타일을 포함한 4개의 공개 데이터셋에서 수행되었다. 교차 스타일 전이 실험에서는 소스 스타일(명시적)에서 학습한 모델이 목표 스타일(암시적)로 전이될 때, 기존 도메인 적응 방법(Adversarial, MultiFOLD 등)보다 평균 13% 높은 macro‑F1를 기록했다. 또한, 교란 완화 없이 스타일만 개입한 경우 대비 7%p 이상의 성능 향상이 관찰되었다.

Ablation 연구에서는 (1) 교란 억제 모듈 제거, (2) 반사실 스타일 개입 제거, (3) 잠재 변수 정규화 제거 각각이 성능 저하를 초래함을 확인했다. 특히 교란 억제 모듈을 제외하면 플랫폼 간 차이에 민감해져, 특정 플랫폼에서만 높은 정확도를 보이다가 다른 플랫폼에서는 급격히 떨어지는 현상이 나타났다.

시각화 결과, z_m*는 동일한 혐오 의도를 가진 샘플들 사이에서 클러스터링되는 반면, z_s는 명시적·암시적 스타일에 따라 명확히 구분된다. 이는 CADET이 인과적 요인과 비인과적 요인을 효과적으로 분리했음을 시사한다.

전반적으로 CADET은 인과 그래프 기반의 잠재 변수 분해, 교란 완화, 반사실 스타일 개입이라는 세 축을 결합해, 스타일 변동과 플랫폼 차이에 강인한 혐오 발언 탐지 모델을 제시한다. 향후 연구에서는 더 복잡한 다중 교란(예: 시간적 변화)과 다중 언어 환경에 대한 확장이 기대된다.