그룹별 사전확률 변동에 강인한 공정성: 불변성, 드리프트, 라벨‑프리 사후처리

초록

본 논문은 라벨 사전확률이 민감군마다 다르게 변하는 “그룹‑조건부 사전확률 변동(GPPS)” 상황을 모델링하고, 오류율 기반 공정성(동등화된 기회·동등화된 기회)은 불변하지만, 수용률 기반 공정성(인구통계적 평등)은 사전확률 변화에 따라 필연적으로 드리프트한다는 이론적 이분법을 제시한다. 또한 라벨이 없는 목표 도메인에서도 ROC 곡선 불변성을 이용해 위험과 공정성 지표를 식별·추정할 수 있음을 증명하고, 이를 기반으로 목표 도메인에서 인구통계적 평등을 달성하도록 설계된 라벨‑프리 사후처리 알고리즘 TAP‑GPPS를 제안한다. 실험을 통해 이론적 예측과 알고리즘의 실효성을 검증한다.

상세 분석

본 연구는 머신러닝 모델이 훈련 시점의 데이터에서 공정성 제약을 만족하더라도, 배포 환경에서 라벨 사전확률이 민감군별로 변할 경우 공정성 보장이 어떻게 달라지는지를 체계적으로 분석한다. 핵심 가정인 GPPS는 조건부 분포 P(X|Y,A)가 변하지 않으며, 오직 그룹별 양성 라벨 비율 π_{s,a}=P(Y=1|A=a)만이 소스와 타깃 도메인 사이에서 달라진다고 설정한다. 이 가정 하에 Lemma 4.1을 통해 스코어 함수 f(X,A)의 조건부 분포가 (Y,A)마다 동일함을 보이고, 따라서 그룹별 ROC 곡선(TPR, FPR)은 도메인 간에 완전히 불변한다는 사실을 도출한다.

이 불변성은 바로 Theorem 4.3으로 이어져, 오류율에만 의존하는 분리 기반 공정성 기준, 즉 Equalized Odds와 Equality of Opportunity이 소스 도메인에서 만족하면 타깃 도메인에서도 그대로 만족한다는 강력한 보장을 제공한다. 반면 Acceptance Rate는 TPR와 FPR를 사전확률 π와 선형 결합한 형태(AR = π·TPR + (1−π)·FPR)로 표현되므로, π가 변하면 AR도 변한다. Proposition 4.6과 Corollary 4.7은 이 선형 관계를 정량화하고, 그룹 간 사전확률이 다르게 변할 경우 인구통계적 평등(DP) 격차가 반드시 발생할 수 있음을 증명한다. 특히, classifier가 정보가 있을 때(TPR≠FPR)라면 DP는 거의 불가피하게 드리프트한다는 “shift‑robust impossibility” 결과(Theorem 4.11)가 핵심적인 실용적 교훈을 제공한다.

Predictive Parity는 PPV = π·TPR / (π·TPR + (1−π)·FPR) 형태의 비선형 관계를 가지므로, 사전확률 변동에 대해 더욱 민감하게 반응한다. 이는 작은 π 변화도 그룹 간 PPV 차이를 크게 확대할 수 있음을 의미한다.

다음으로 저자들은 라벨이 없는 타깃 데이터만으로도 위험과 공정성 지표를 식별할 수 있음을 보인다. ROC 곡선이 불변이므로, 소스 라벨을 이용해 TPR·FPR를 정확히 추정하고, 타깃 도메인의 π만 추정하면 목표 위험과 DP, PPV 등을 정확히 계산할 수 있다. Theorem 6.1은 이러한 식별 가능성을 정리하고, Theorem C.1은 유한 표본에 대한 수렴 경계와 신뢰구간을 제공한다.

실제 알고리즘인 TAP‑GPPS는 (1) EM 기반 또는 BBSE 기반 방법으로 타깃 도메인의 π̂_a를 추정하고, (2) Bayes 정리를 이용해 스코어를 사전확률 보정(post‑calibration)한 뒤, (3) 그룹별 임계값 τ_a를 최적화해 목표 DP를 만족하도록 설계된다. 이 과정은 라벨이 전혀 필요 없으며, 기존의 사전학습된 스코어만 재활용한다는 점에서 비용 효율적이다.

실험에서는 합성 데이터와 의료·금융·형사 사법 분야의 반실제(semi‑synthetic) 데이터셋을 사용해, (i) Equalized Odds는 실제로 변하지 않음, (ii) DP는 사전확률 변동에 따라 크게 변함을 확인하고, (iii) TAP‑GPPS가 목표 DP를 거의 정확히 맞추면서 원본 모델의 정확도 손실을 최소화함을 입증한다. 비교 대상인 기존 라벨‑프리 교정 방법들과도 성능 차이를 보이며, 특히 사전확률이 크게 변하는 경우에 탁월한 안정성을 보여준다.

전체적으로 이 논문은 공정성 연구에서 흔히 간과되는 “라벨 사전확률의 그룹별 변동”을 명확히 모델링하고, 공정성 기준별 불변성·드리프트·불가능성을 이론적으로 구분함으로써 실무자가 상황에 맞는 공정성 목표를 선택하고, 라벨이 없는 환경에서도 목표 공정성을 달성할 수 있는 실용적인 방법론을 제공한다는 점에서 큰 의의를 가진다.