라벨 편향을 통한 신경망 공정성 분석: 반사실 데이터셋 생성 방법

초록

본 논문은 신경망 학습 과정에서 라벨 편향이 예측에 미치는 영향을 탐색한다. 입력을 변형하는 기존 반사실 설명과 달리, 제한된 수의 라벨만을 바꾼 ‘반사실 데이터셋(CFD)’을 효율적으로 생성하고, 재학습된 모델이 특정 테스트 샘플의 예측을 바꾸는지를 확인한다. 선형 회귀 서브모델과 뉴런 활성도 유사도 두 가지 분석 기법을 결합해 중요한 학습 샘플을 순위화하고, 최소 라벨 수정으로 예측 변화를 유도한다. 7개의 공정성 데이터셋에서 1100여 개 테스트 케이스에 대해 실험한 결과, 소수의 라벨만 변경해도 예측을 바꿀 수 있음을 보이며, 라벨 편향을 직접 감사할 수 있는 새로운 도구를 제시한다.

상세 분석

논문은 기존의 입력‑기반 반사실 설명이 라벨 편향을 직접 드러내지 못한다는 점을 지적하고, 라벨 자체를 조작해 모델 예측을 바꾸는 ‘반사실 데이터셋(CFD)’ 개념을 도입한다. 핵심 아이디어는 두 단계 분석이다. 첫 번째는 학습 단계에서 라벨 변동이 예측에 미치는 영향을 추정하기 위해 선형 회귀 서브모델을 활용한다. ReLU 기반 신경망은 입력 공간을 다수의 선형 구역으로 분할하므로, 특정 테스트 입력 x가 활성화하는 뉴런 집합을 기준으로 전체 네트워크를 지역 선형 모델 θᵀx 로 근사한다. 이때 θ는 활성화된 가중치만을 곱해 얻으며, 선형 회귀의 닫힌 형태 해(θ = (XᵀX)⁻¹Xᵀy)를 이용해 각 학습 샘플의 라벨이 θ에 미치는 기여도를 계산한다. 두 번째는 추론 단계에서 테스트 입력과 학습 샘플 간의 뉴런 활성도 유사도를 측정한다. 활성·비활성 패턴을 바이너리 벡터로 표현하고, Hamming 거리 혹은 코사인 유사도로 정렬함으로써, 테스트 입력과 ‘가깝게’ 위치한 샘플이 예측 변화에 더 큰 영향을 줄 가능성을 반영한다. 두 순위 리스트를 가중 평균하거나 교차 검증해 최종 후보 라벨 변환 집합을 선정한다. 이후 제한된 m개의 라벨만 플립해 새로운 데이터셋 D′를 만들고, 동일 학습 알고리즘 L을 적용해 모델 f′를 재학습한다. f′(x)와 원래 예측 f(x)의 차이를 확인함으로써 CFD 존재 여부를 판단한다. 실험에서는 7개의 공정성 벤치마크(Adult, COMPAS 등)와 1100여 개 테스트 인스턴스를 대상으로, 평균 5~10개의 라벨만 수정해도 예측을 바꾸는 경우가 다수 발견되었다. 이는 라벨 편향이 전체 모델 성능보다 특정 개인에 대한 결정에 비례적으로 큰 영향을 미칠 수 있음을 시사한다. 또한, 기존 영향 함수(influence functions)와 비교했을 때 연산 비용이 크게 낮으며, 정확도 면에서도 더 높은 성공률을 보였다. 논문은 라벨 편향을 감사하는 새로운 도구로서 CFD를 제시하고, 라벨 수정이 실제 정책·법적 감시 상황에서 ‘증거’ 역할을 할 수 있음을 강조한다. 한계로는 현재 ReLU 기반 피드포워드 네트워크에 초점을 맞추었으며, 복잡한 구조(예: Transformer)나 비선형 활성화에 대한 일반화가 필요하다는 점을 언급한다.