주석자 그룹 편향을 정량화하는 새로운 메트릭

초록

본 논문은 기존의 주석자 동의 지표가 그룹 간 불균형과 다중 라벨 상황에 취약함을 지적하고, ‘apunim’이라는 새로운 정량적 메트릭과 통계적 유의성 검정을 제안한다. 이 메트릭은 각 주석자 하위 그룹(인종, 종교, 교육 수준 등)이 데이터셋 전체의 편향(Polarization)에 얼마나 기여하는지를 수치화하며, 다중 라벨 및 대규모 데이터에 적용 가능하도록 설계되었다. 네 개의 NLP 데이터셋(혐오발언·독성 검출)에서 실험한 결과, 인종·종교·교육 수준에 따라 편향 정도가 크게 달라짐을 확인하고, 최소 주석자 수 추정 및 파이썬 라이브러리 공개까지 수행하였다.

상세 분석

논문은 먼저 기존의 Cohen’s κ, Krippendorff’s α, Fleiss’s κ 등 전통적인 주석자 동의 지표가 (1) 그룹 규모 불균형에 민감하고, (2) 단일 라벨(majority‑voting) 설정에만 적용 가능하다는 한계를 명확히 제시한다. 특히 혐오발언·독성 검출과 같이 주관적 판단이 중요한 작업에서는 소수 집단(예: 소수 인종, 특정 종교)과 다수 집단 간 의견 차이가 ‘다수 투표’에 의해 소멸될 위험이 크다. 이를 보완하기 위해 저자는 ‘Polarization’ 개념을 차용한다. Polarization은 주석 히스토그램이 단일 피크(uni‑modal) 대신 다중 피크(bimodal 이상)를 보이는 정도를 nDFU (normalized Distance from Unimodality)라는 0‑1 스코어로 정량화한다.

‘apunim’ 메트릭은 두 단계로 구성된다. 첫째, 각 아이템에 대해 전체 주석 집합 A(c)와 특정 하위 그룹 θ에 속한 주석 집합 A(c|θ)의 nDFU를 계산한다. 둘째, 전체 데이터셋 수준에서 그룹별 기여도를 추정하기 위해 ‘aposteriori polarization’을 정의한다. 여기서는 단순히 A(c)와 A(c|θ) 간 차이를 보는 것이 아니라, 그룹 내부와 외부(compliment) 간의 nDFU 차이를 비교한다. 이때 그룹이 두 개만 존재하는 경우(예: 남·여) 기존의 차집합 접근법이 편향을 과소평가할 수 있음을 지적하고, 무작위 스트라티파이드 샘플링을 통해 ‘apriori polarization’(내재된 편향)과 ‘aposteriori polarization’(그룹이 설명하는 편향)을 분리한다.

통계적 유의성 검정은 파라메트릭 t‑test 기반으로, 무작위 파티셔닝을 t번 반복해 얻은 nDFU 분포를 이용한다. 이를 통해 특정 그룹이 실제로 데이터셋 편향에 기여했는지 여부를 p‑value로 판단한다. 또한 다중 라벨 상황에서도 히스토그램을 라벨 차원별로 합산해 nDFU를 계산함으로써, 기존 지표가 지원하지 못하던 복합 라벨 구조를 자연스럽게 처리한다.

실험에서는 3개의 혐오발언 데이터셋과 1개의 독성 검출 데이터셋을 대상으로 인종·종교·교육·연령·성별 등 5가지 개인 특성을 분석했다. 주요 발견은 다음과 같다. (1) 인종/민족 그룹이 가장 강한 편향을 일으키며, 특히 혐오발언 라벨에서 흑인·아프리카계 주석자와 백인 주석자 간 nDFU 차이가 크게 나타났다. (2) 종교적 주석자들은 내부적으로는 높은 합의(unimodal)를 보이지만, 다른 그룹과는 뚜렷한 차이를 보여 ‘종교적 편향’이 존재한다는 점이 확인되었다. 흥미롭게도 무신론자 그룹은 이러한 차이가 점차 감소하거나 역전되는 경향을 보였다. (3) 교육 수준이 낮은 주석자는 전반적으로 높은 nDFU(다중 피크)를 보여 주관성이 강함을 나타냈으며, 고학력 그룹은 서로 간에 높은 합의를 보였다.

또한 저자는 최소 주석자 수를 추정하는 방법을 제시한다. nDFU의 신뢰구간이 충분히 좁아질 때(예: 95% CI 폭 <0.05) 결과가 안정적이라고 판단하고, 실험 데이터에 기반해 평균 7~9명의 주석자가 필요함을 제시한다. 마지막으로, 파이썬 패키지 ‘apunim’(PyPI)와 전체 코드·데이터 전처리 파이프라인을 공개해 재현성을 확보하였다.

이 논문은 주석자 그룹 간 편향을 정량화하고, 불균형·다중 라벨·소수 그룹의 목소리를 보존하는 새로운 분석 프레임워크를 제공함으로써, 공정하고 투명한 NLP 데이터 구축에 중요한 기여를 한다.