공정한 위험점수와 차별적 영향: 재범예측 도구의 편향 메커니즘

본 논문은 재범예측 도구(RPI)가 형사 사법 시스템에서 점점 더 널리 사용됨에 따라, 이러한 도구가 인종·성별 등 민감한 집단에 대해 차별적 결과를 초래할 가능성을 검토한다. 저자는 교육·심리검사 분야에서 오랫동안 사용되어 온 “테스트 공정성(test‑fairness)”이라는 개념을 차용한다. 테스트 공정성은 점수 s에 대해 집단 R에 관계없이 동일한 재범 확률 P(Y=1|S=s,R) 를 제공한다는 의미이며, 이는 흔히 “캘리브레이션(calibration)”이라고도 불린다. 논문은 먼저 수학적 기호를 도입한다. 위험점수 S=S(x) 는 피험자 x의 특성 X에 기반하고, R∈{b,w}는 인종(흑인·백인) 집단, Y∈{0,1}은 실제 재범 여부이다. 테스트 공정성 정의(식 2.1)를 바탕으로, 점수를 임계값 s에 따라 고위험(HR)·저위험(LR)으로 이진화한 Sc를 도입한다(식 2.2). 이때 Sc는 혼동행렬을 통해 TP, FP, FN, TN 으로 표현될 수 있다. 테스트 공정성이 만족되면 양성예측값(PPV) = P(Y=1|Sc=HR,R) 가 집단에 독립적임을 보이며, 이는 PPV가 고정된 상황에서 FPR과 FNR 사이에 식 2.4 로 연결되는 제약을 만든다. 특히, 두 집단의 재범률 p_b와 p_w 가 다르면 같은 PPV를 유지하면서도 FPR·FNR이 반드시 다르게 된다. 실제 COMPAS 데이터(프로퍼바가 공개)에서 흑인과 백인의 재범률이 각각 51%와 39% 로 차이가 나는 것을 확인하고, 해당 데이터가 테스트 공정성을 대체로 만족함을 Figure 1 로 보여준다. 따라서 흑인 집단은 FPR 45%, FNR 28% 로, 백인 집단은 FPR 23%, FNR 48% 로 나타난다. 이는 ProPublica가 보고한 “흑인 피고가 비재범자임에도 고위험으로 분류될 확률이 두 배”라는 현상의 수학적 근거가 된다. 다음 단계에서는 이러한 오류율 차이가 실제 형벌에 미치는 영향을 분석한다. 저자는 “MinMax 정책”이라 명명한 간단한 형벌 규칙을 설정한다: 고위험이면 형량 t_H, 저위험이면 t_L 를 부과한다(식 3.1). 이 정책 하에서 두 집단 간 형량 기대 차이 Δ 를 정의하고, 비재범자와 재범자 각각에 대해 Δ 를 FPR·FNR 차이와 직접 연결한다(식 3.2·3.3). 결과적으로 재범률이 높은 집단(흑인)은 FPR이 높아 비재범자라도 고위험으로 오분류될 확률이 크고, FNR이 낮아 재범자도 고위험으로 정확히 잡히는 비율이 높다. 따라서 동일한 t_H−t_L 차이가 두 집단에 적용될 때, 흑인 피고는 전반적으로 더 무거운 형량을 받게 된다. 이러한 차별적 영향은 단순히 평균 오류율 차이뿐 아니라, 범죄 전력 등 세부 하위집단에서도 지속된다. Figure 2 는 경범죄(경미한 위반) 피고를 우선순위별로 나누어 본 FPR 차이를 보여, 재범률 차이가 없는 하위집단에서도 여전히 흑인·백인 간 FPR 격차가 존재함을 증명한다. 또한, 저자는 효과크기 지표인 Cohen’s d 와 총변동거리(TV) 를 이용해 Δ 의 상한을 제시한다(식 3.4). COMPAS 점수 분포가 정규성을 띠지 않음에도 불구하고, 두 집단 간 TV 거리 0.245 를 이용해 Δ ≤ (t_H−t_L)·0.60·0.245 로 계산할 수 있다. 이는 형벌 차이가 점수 분포 차이와 직접 연관됨을 정량화한다. 논문의 마지막에서는 정책적 함의를 논의한다. 테스트 공정성을 유지하면서 오류율을 균등하게 만들려면, 재범률 차이를 보정하거나, 집단별 맞춤형 임계값을 도입해야 한다. 그러나 오류율을 완전히 동일하게 맞추더라도 하위집단 수준에서는 차이가 남을 수 있기에, “어느 수준에서 균형을 맞출 것인가” 라는 설계 선택이 필요함을 강조한다. 또한, 데이터 기반 위험점수가 인간 전문가보다 예측 정확도가 높다는 기존 연구를 인용하며, 도구 자체를 폐기하기보다는 공정성·차별적 영향 모두를 고려한 설계와 투명한 검증이 필요하다고 주장한다. 요약하면, 테스트 공정성(캘리브레이션)만으로는 차별을 방지할 수 없으며, 집단 간 재범률 차이가 존재할 경우 동일한 캘리브레이션이 오히려 형벌 격차를 확대한다. 정책 입안자는 오류율(FPR/FNR) 균형, 집단별 재범률 차이, 그리고 실제 형벌 적용 메커니즘을 동시에 고려한 다중 기준 공정성 프레임워크를 채택해야 한다.