데이터 분포 차이가 불공정성을 만든다: 딥러닝 공정성 이론과 실증

초록

본 논문은 인구통계 그룹 간 데이터 분포 이질성이 모델 공정성에 미치는 영향을 이론적으로 규명하고, 그룹별 평균·공분산 차이를 최소화하는 Fairness‑Aware Regularization(FAR)을 제안한다. 6개 데이터셋 실험을 통해 분포 차이가 공정성 오류 상한을 결정함을 확인하고, FAR이 전체 AUC·ES‑AUC 및 서브그룹 성능을 일관되게 향상시킴을 입증한다.

상세 분석

이 연구는 공정성을 “그룹 간 기대 손실 차이의 최대값을 최소화”하는 문제로 정의하고, 이를 수학적으로 다루기 위해 3가지 핵심 구성요소(불가피 오류, 통계적 오류, 최적화 오류)로 분해한 새로운 이론적 상한을 제시한다(정리 3.4). 특히 표본 크기 m에 대해 O(1/√m) 수렴률을 보이며, 이는 기존 일반화 경계보다 공정성 측면에서 더 정밀한 평가를 가능하게 한다.

핵심적인 기여는 그룹별 위험(R_i)과 데이터 분포의 평균(μ_i)·공분산(Σ_i) 차이 사이의 직접적인 연결고리를 정량화한 정리 3.17, 3.19이다. 여기서 1‑Wasserstein 거리와 Frobenius norm을 이용해 μ_i와 Σ_i의 차이가 클수록 그룹 간 손실 격차가 상한선으로 확대된다는 점을 보였다. 이는 “공정성은 알고리즘 설계만으로는 제한을 극복할 수 없으며, 근본적인 데이터 불균형이 핵심 원인”이라는 중요한 통찰을 제공한다.

이론적 통찰을 바탕으로 제안된 FAR은 손실 함수에 λ·R_fair를 추가한다. R_fair는 그룹별 특징 평균 차이 ‖\bar z_i−\bar z_j‖₂와 공분산 차이 ‖Σ_{z_i}−Σ_{z_j}‖_F를 동시에 최소화하도록 설계되었으며, 이는 정리 3.19에서 제시된 상한을 직접적으로 낮추는 역할을 한다. 학습 과정에서 기존의 ERM 손실과 병행해 최적화함으로써 정확도와 공정성 사이의 트레이드오프를 조절한다.

실험에서는 의료 영상(FairVision, CheXpert, HAM10000), 얼굴 속성(FairFace), 소득 예측(ACS Income), 텍스트 댓글(CivilComments‑WILDS) 등 6개 데이터셋(총 2.5M 샘플)에서 그룹별 평균·공분산 차이를 정량화하고, 그 차이가 클수록 기본 모델의 공정성 오류가 이론적 상한에 가깝게 나타나는 것을 확인했다. FAR을 적용한 후 전체 AUC가 평균 1.8%p 상승하고, 특히 인종 그룹 간 ES‑AUC 격차가 30% 이상 감소하였다. 또한, 그룹별 ROC 곡선이 균일해지는 현상이 관찰돼, 제안 방법이 실제 서브그룹 성능을 고르게 향상시킴을 입증한다.

한계점으로는 μ와 Σ를 추정하기 위한 충분한 샘플이 필요하고, 고차원 특징 공간에서 공분산 추정 비용이 크게 증가한다는 점을 언급한다. 향후 연구에서는 차원 축소와 베이지안 추정 기법을 결합해 계산 효율성을 높이고, 다중 민감 속성(예: 교차 인종·성별) 상황에서도 확장 가능한 정규화를 탐구할 여지가 있다.