데이터를 일등 시민으로: FairPrep으로 공정성 강화 연구 혁신

본 논문은 머신러닝 시스템에서 공정성을 확보하기 위한 연구가 주로 모델 학습·배포 단계에 집중되어 있는 현상을 비판하고, 데이터 전처리와 파이프라인 관리 단계까지 포괄하는 평가 프레임워크 “FairPrep”을 제안한다. 서론에서는 윤리·법적 요구사항이 중요해지고 있지만, 기존 연구는 데이터 수집·정제·통합 등 초기 단계의 기회들을 놓치고 있음을 지적한다. 저자들은 Friedler et al.의 공정성 비교 연구와 IBM AIF360 툴킷을 분석하면서, (1) 테스트 데이터와 검증 데이터의 격리 부족, (2) 하이퍼파라미터 튜닝 미실시, (3) 특징 스케일링 부재, (4) 결측값을 가진 레코드 삭제 등 네 가지 주요 결함을 발견한다. 이러한 결함은 실험 결과의 신뢰성을 떨어뜨리고, 공정성 개입 효과를 과대·과소 평가하게 만든다. FairPrep의 설계 목표는 (i) 개발자 중심의 모듈형 파이프라인 제공, (ii) 소프트웨어 엔지니어링·머신러닝 베스트 프랙티스 적용, (iii) 차별·절차적 정의와 같은 공정성 지표를 체계적으로 노출하는 것이다. 프레임워크는 크게 데이터 전처리, 모델 선택·튜닝·검증, 공정성 평가의 세 단계로 구성된다. 데이터 전처리 모듈은 결측값 대체(기본 평균, Datawig 등)와 특징 스케일링(표준화, 정규화)을 독립적으로 적용하며, 각 모듈은 훈련 데이터만을 사용해 파라미터를 학습한다. 모델 선택 단계에서는 k‑fold 교차 검증을 통한 하이퍼파라미터 그리드 서치를 수행하고, 최적 모델을 검증 데이터에서 선정한다. 마지막 단계에서는 AIF360에서 제공하는 다양한 공정성 메트릭을 플러그인 형태로 연결해, 성능·공정성 트레이드오프를 시각화한다. 구현 측면에서 FairPrep은 scikit‑learn과 AIF360을 기반으로 하며, 파이프라인 구성 요소를 파이썬 클래스와 함수로 캡슐화한다. 난수 시드 고정, 파이프라인 버전 관리, 로그 기록 등을 통해 실험 재현성을 보장한다. 실험에서는 Adult Income, COMPAS, German Credit 등 세 개의 공개 데이터셋을 사용해, (1) 기존 연구와 동일한 베이스라인·공정성 개입을 FairPrep 환경에서 재현하고, (2) 하이퍼파라미터 튜닝을 수행했을 때와 수행하지 않았을 때의 성능·공정성 변동성을 비교한다. 결과는 하이퍼파라미터 튜닝이 없을 경우 정확도와 공정성 지표가 크게 변동하며, 이는 기존 연구에서 보고된 높은 변동성의 주요 원인임을 보여준다. 또한, 결측값 대체 방법을 단순 평균에서 Datawig으로 교체하면, 특히 여성·소수 인종 그룹에서 오류율 격차가 현저히 감소한다. 특징 스케일링을 적용하지 않은 경우에도 SVM·로지스틱 회귀와 같은 모델에서 공정성 지표가 악화되는 것을 확인한다. 관련 연구 섹션에서는 공정성 평가 프레임워크, 데이터 중심 머신러닝, 소프트웨어 엔지니어링 관점의 ML 파이프라인 관리 등을 포괄적으로 검토한다. 저자들은 FairPrep이 기존 툴킷보다 데이터 단계까지 포괄적인 평가를 가능하게 하며, 연구 재현성과 실무 적용성을 동시에 향상시킨다고 주장한다. 결론에서는 데이터가 공정성 연구에서 첫 번째 시민이 되어야 함을 재차 강조하고, 향후 작업으로는 데이터 통합·증강 단계, 인터랙티브 디버깅 도구, 법적·규제 준수 자동화 모듈 등을 추가할 계획임을 밝힌다. FairPrep은 데이터 과학자와 엔지니어가 윤리·법적 요구를 충족하면서도 견고하고 투명한 머신러닝 시스템을 구축하도록 돕는 실용적인 플랫폼으로 자리매김한다.