정확도와 공정성의 숨은 연결고리 양성 예측 비율을 고려한 이진 분류 평가

초록

본 논문은 이진 분류에서 정확도와 차별(공정성) 사이의 트레이드오프를 평가할 때, 양성 예측 비율(수용률) 차이를 무시하면 오해가 발생한다는 점을 지적한다. 이를 해결하기 위해 정확도는 Cohen’s Kappa, 차별은 최대 가능한 차별로 정규화한 δ 지표를 제안하고, 이론·실험을 통해 두 지표가 수용률에 따라 선형적인 관계를 보임을 보인다.

상세 분석

논문은 먼저 기존 차별‑인식 학습 연구가 “동일한 정확도 → 동일한 차별 감소”라는 직관에 의존하지만, 실제로는 분류기의 양성 예측 비율(π)이 달라지면 무작위 분류기의 기대 정확도와 차별도 변한다는 사실을 강조한다. 이를 정량화하기 위해 정확도 A를 그대로 쓰는 대신, 무작위 기준을 뺀 상대적 향상을 나타내는 Cohen’s Kappa(κ = (A‑R)/(1‑R))를 사용한다. 여기서 R은 동일한 π를 갖는 무작위 분류기의 정확도이며, R = π₀π + (1‑π₀)(1‑π) 로 계산된다. 차별 측정 d = p(+|w)‑p(+|b) 역시 π에 따라 달라지므로, π에서 달성 가능한 최대 차별 d_max = min{π/α, (1‑π)/(1‑α)} 로 정의하고, 이를 이용해 정규화 차별 δ = d / d_max 을 도입한다. δ는 1에 가까울수록 최악의 차별, 0에 가까울수록 차별 없음, 음수는 역차별을 의미한다.

실험에서는 UCI Adult 데이터를 사용해 로지스틱 회귀, 나이브 베이즈, 결정트리(J48)를 학습하고, 임계값을 조절해 π를 다양하게 변형한다. 결과는 원시 정확도와 차별이 π에 따라 크게 변동하지만, κ와 δ는 π에 무관하게 동일한 분류기의 상대적 성능을 일관되게 보여준다. 특히, 차별을 제거하려는 “massaging” 기법은 차별을 감소시키지만, 수용률이 변하면서 κ와 δ 사이에 복합적인 트레이드오프가 발생한다는 점을 확인한다.

이론적으로는 “오라클”(라벨을 완벽히 아는 가상의 분류기)과 무작위 분류기를 기준으로, 고정된 π일 때 κ와 δ 사이의 관계가 선형(κ₀‑κ = min{απ₀,1‑α1‑π₀}(δ₀‑δ))임을 증명한다. π를 자유롭게 조정할 수 있다면, 차별을 없애기 위해 선호군(예: 남성) 수용률을 낮추거나 보호군(예: 여성) 수용률을 높이는 두 가지 전략이 존재하며, 최적 선택은 α, π₀, 목표 δ*에 따라 달라진다.

결론적으로, 동일한 수용률을 보장하지 않을 경우 원시 정확도·차별 지표만으로는 공정성 평가가 왜곡될 수 있다. 따라서 연구자는 κ와 δ를 사용해 비교하거나, 수용률이 고정된 상황에서는 기존 A와 d를 그대로 활용하도록 권고한다.