추천 시스템 공정성을 위한 새로운 차별 지표

초록

본 논문은 협업 필터링 기반 추천 시스템에서 발생하는 다양한 형태의 불공정성을 측정하기 위해 기존 지표가 갖는 한계를 지적하고, ‘가치 불공정성’, ‘절대 불공정성’, ‘과소 추정 불공정성’, ‘과대 추정 불공정성’ 네 가지 새로운 메트릭을 제안한다. 제안된 메트릭을 손실 함수에 정규화 항으로 추가해 최적화함으로써, 합성 데이터와 실제 영화 평점 데이터에서 불공정성을 효과적으로 감소시키면서도 예측 정확도는 크게 손상되지 않음을 실험적으로 입증한다.

상세 분석

이 논문은 협업 필터링이 사용자-아이템 상호작용을 기반으로 latent factor를 학습하는 과정에서, 관측 편향과 사용자 그룹 간의 불균형이 어떻게 시스템 전반의 차별을 야기하는지를 체계적으로 분석한다. 기존 연구에서 주로 사용된 ‘인구통계적 평등(demographic parity)’은 민감 속성(예: 성별, 인종)과 선호도가 독립적이라는 가정에 의존한다. 그러나 실제 교육·영화·음악 등 도메인에서는 성별이 선호와 강하게 연관되어 있어, 단순히 전체 긍정 비율을 맞추는 것만으로는 공정성을 보장할 수 없다는 점을 명확히 지적한다.

논문은 네 가지 새로운 불공정성 지표를 수학적으로 정의한다.

1. **가치 불공정성(Value Unfairness)**은 불리한 그룹과 유리한 그룹 사이의 예측값과 실제 평점 차이의 부호가 일관적으로 다를 때 발생한다. 이는 특정 그룹에 대해 시스템이 전반적으로 과대·과소 평가하는 경향을 포착한다.
2. **절대 불공정성(Absolute Unfairness)**은 위와 동일하지만 부호를 무시하고 절대값 차이를 측정한다. 즉, 두 그룹이 동일한 평균 오차를 갖는지를 평가한다.
3. **과소 추정 불공정성(Underestimation Unfairness)**은 예측이 실제보다 낮게 나타나는 경우에만 hinge 함수를 적용해 측정한다. 이는 추천이 누락될 위험이 큰 상황(예: STEM 과목 추천)에서 중요한 지표가 된다.
4. **과대 추정 불공정성(Overestimation Unfairness)**은 반대로 예측이 실제보다 높은 경우에 초점을 맞춘다.

또한 기존의 ‘비평등(Unparity)’ 지표를 정규화 항으로 재정의해, 전체 평균 평점 차이를 최소화하도록 한다. 이러한 지표들을 손실 함수에 가중치 α와 함께 결합함으로써, 최적화 과정에서 불공정성 감소와 예측 정확도 사이의 트레이드오프를 조절한다.

실험 설계는 두 단계로 구성된다. 첫 번째는 사용자·아이템 그룹이 명시적으로 정의된 합성 데이터셋을 사용해, 관측 확률이 균등하거나 편향된 경우, 그리고 사용자 그룹 비율이 균등하거나 불균형인 네 가지 시나리오(U, O, P, P+O)를 비교한다. 결과는 관측 편향과 인구 불균형이 각각 다른 불공정성 메트릭에 영향을 미치며, 특히 ‘비평등’은 관측 편향만으로도 높은 값을 보이는 반면 실제 불공정성은 낮을 수 있음을 보여준다.

두 번째 실험은 Movielens 1M 데이터셋에서 성별에 따른 장르별 편향을 고려해 5개 장르를 선택하고, 최소 50회 평점을 남긴 사용자만을 대상으로 한다. 여기서도 각 메트릭을 정규화 항으로 사용했을 때 해당 메트릭 값이 가장 크게 감소하고, 전체 RMSE(재구성 오차)는 거의 변하지 않음이 확인된다. 특히 ‘과소 추정’과 ‘과대 추정’ 정규화는 각각 과소·과대 추천을 균형 있게 억제하는 효과가 있다.

이 논문의 주요 기여는 (1) 기존의 단일 차원 공정성 지표가 놓치는 다차원적 불공정성을 포착하는 네 가지 메트릭을 제안, (2) 이러한 메트릭을 손실 함수에 직접 통합해 학습 단계에서 최소화 가능함을 증명, (3) 합성·실제 데이터 모두에서 불공정성 감소와 예측 정확도 유지라는 실용적 결과를 제공한다는 점이다. 다만, 아이템 측면의 공정성, 사용자 평점이 외부 요인(예: 강의 환경)에 의해 왜곡될 가능성 등은 향후 연구 과제로 남겨졌다.