다중그룹 타깃 탐지를 위한 공정성‑인식 손실 설계와 평가

초록

본 논문은 온라인 토론에서 한 게시물이 여러 인구통계 그룹을 동시에 겨냥할 수 있다는 점과, 그룹별 탐지 정확도의 형평성을 확보해야 한다는 문제를 제기한다. 이를 해결하기 위해 기존의 이진‑그룹 공정성 손실인 GAP을 다중라벨 상황에 확장한 GAP multi 손실을 제안한다. GAP multi는 모든 그룹 쌍 사이의 오류 차이를 직접 최소화함으로써 정확도 평등(Accuracy Parity, AP)을 효율적으로 달성한다. MHS와 HateXplain 두 대규모 데이터셋을 이용한 실험에서 제안 방법은 기존 공정성‑인식 베이스라인보다 그룹 간 성능 격차를 크게 줄이며 전체 정확도도 유지한다. 또한, Equalized Odds와 같은 전통적 공정성 지표가 다중그룹 타깃 탐지에 부적합함을 이론·실험적으로 증명한다.

상세 분석

이 논문은 온라인 커뮤니티에서 “누구를 겨냥했는가”를 식별하는 타깃‑그룹 탐지 문제를 다중라벨 분류로 정의하고, 그 과정에서 발생할 수 있는 형평성 문제를 체계적으로 분석한다. 기존 연구는 대부분 단일 라벨(한 게시물당 하나의 그룹) 가정에 머물렀으며, 이는 실제 토론에서 여러 인종·성별·종교 그룹을 동시에 언급하거나 비하하는 경우를 포착하지 못한다. 저자들은 이러한 현실을 반영하기 위해 라벨 벡터 yᵢ∈{0,1}^{|G|}를 사용해 다중그룹을 동시에 예측하도록 모델을 설계한다.

공정성 측정 기준으로 Accuracy Parity(AP)를 채택한 이유는, 타깃 탐지에서 ‘긍정’과 ‘부정’ 오류가 대칭적 비용을 가진다(그룹을 놓치거나 잘못 지정하는 것이 모두 동일하게 해롭다)는 점이다. 기존의 Equalized Odds(EO)는 양성·음성 오류를 별도로 맞추려 하지만, 그룹별 베이스 레이트가 다를 경우 AP와 EO를 동시에 만족할 수 없다는 불가능성 정리를 제시한다. 이는 실제 데이터에서 EO를 강제하면 특정 소수 그룹의 성능이 급격히 저하되는 현상으로 확인된다.

핵심 기여는 GAP 손실을 다중그룹 상황에 확장한 GAP multi이다. 기존 GAP은 이진 그룹(목표 vs 비목표) 사이의 교차 엔트로피 차이를 최소화했지만, 다중라벨에서는 평균 오차와의 편차를 계산하는 것이 병렬화에 병목을 만든다. GAP multi는 모든 그룹 쌍 (j,k) 에 대해 CE(g=j)−CE(g=k) 의 L2 제곱합을 정규화 항으로 넣어, 각 쌍 사이의 오류 격차를 동시에 최소화한다. 이 설계는 GPU 병렬 연산에 최적화돼 |G|가 커져도 계산 복잡도가 O(|G|²) 이면서도 상수 팩터만 증가한다.

실험에서는 두 데이터셋(MHS, HateXplain)에서 810개의 인구통계 그룹을 대상으로 평가했으며, GAP multi는 그룹별 정확도 편차(dev_overall)를 기존 GAP·Re‑weight·Adversarial 등 대비 30%45% 감소시켰다. 전체 macro‑accuracy는 12% 정도 소폭 감소하거나 동일 수준을 유지했으며, 특히 소수 그룹(예: Native American, Pacific Islander)에서 큰 성능 향상이 관찰되었다. 또한, λ 하이퍼파라미터를 변동시켜 공정성‑효용 트레이드오프 곡선을 그렸을 때, 적절한 λ(≈0.10.5)에서 AP와 전체 정확도 모두 만족스러운 균형을 이룬다.

이론적 분석에서는 AP와 EO의 불가능성 정리를 정리하고, GAP multi가 AP에 직접적인 미분 가능 손실을 제공함을 증명한다. 또한, 손실 함수가 수렴성을 유지함을 보장하기 위해 기존 GAP의 라그랑주 승수 구조를 그대로 차용하면서, 다중라벨 상황에서도 동일한 최적화 경로를 갖는 것을 수치 실험으로 확인한다.

전체적으로 이 논문은 다중그룹 타깃 탐지라는 새로운 문제 정의와, 그에 맞는 공정성‑인식 손실 설계, 그리고 실증·이론적 검증을 모두 제공함으로써, 온라인 콘텐츠 모더레이션, 맞춤형 추천, 그리고 차별적 해악 평가 등 다양한 응용 분야에 실질적인 기여를 한다.