분리 효용 파레토 프론티어 정보 이론적 접근

초록

본 논문은 예측 결과와 민감 속성 사이의 조건부 독립성을 의미하는 ‘분리’ 기준과 예측 효용 사이의 최적 거래 관계를 정보 이론적으로 규명한다. 조건부 상호 정보(CMI)를 분리 위반 정도로 정의하고, 효용‑분리 가능한 영역을 정보 평면에 나타낸 뒤, 무작위화된 예측기의 파레토 프론티어가 결정적 예측기의 볼록 폐포와 동일함을 증명한다. 또한 CMI가 모든 유계 함수에 대한 조건부 의존성을 상한한다는 이론적 근거를 제시하고, 이 값을 직접 추정하는 간단한 정규화 기법을 제안한다. 실험에서는 COMPAS·Adult·Bank·CelebA 데이터셋에서 제안 방법이 기존 방법보다 분리 위반을 크게 감소시키면서 예측 성능을 유지하거나 향상시키는 것을 확인한다.

상세 분석

논문은 먼저 예측 변수 U (또는 bY)와 민감 변수 Z, 정답 Y 사이의 관계를 정보량 I(U;Y)와 조건부 상호 정보 I(U;Z|Y) 로 정량화한다. 효용 u 는 I(U;Y) 로, 분리 위반 v 는 I(U;Z|Y) 로 정의함으로써, 두 지표를 2차원 정보 평면에 매핑한다. 이 평면에서 가능한 (v,u) 쌍의 집합을 S_det (결정적 예측기)와 S_rand (무작위화 예측기)로 구분하고, 각각의 파레토 전선을 U*_det(v) 와 U*_rand(v) 로 명시한다. 주요 정리 2.2는 S_rand 이 S_det 의 볼록 폐포와 동일함을 보이며, 따라서 무작위화된 예측기는 두 개 이하의 결정적 예측기를 확률적으로 섞음으로써 최적 전선을 달성할 수 있음을 의미한다. 이는 효용‑분리 비용이 비선형이며, 분리 위반을 감소시킬수록 효용 손실이 점점 커지는 ‘증가하는 한계 비용’ 현상을 설명한다.

다음으로 조건부 상호 정보가 분리 조건을 완전하게 표현한다는 정리 2.3·2.5를 제시한다. I(U;Z|Y)=0 이면 정확히 U⊥Z|Y 가 되며, CMI는 모든 유계 함수 h(U), g(Z) 에 대한 조건부 공분산을 √(2 I(U;Z|Y)) 이하로 제한한다. 이는 CMI 최소화가 잠재적 공격자가 탐지할 수 있는 모든 통계적 연관성을 억제한다는 강력한 보장을 제공한다.

또한 예측 효용과 분리 위반의 합이 전체 정보 예산 I((X,Z);(Y,Z)) 에 의해 제한된다는 예산 정리(정리 2.6)를 도출한다. 이때 X⊥Z|Y 와 Y⊥̸Z|X 라는 비퇴화 가정을 추가하면, 완전한 분리를 달성할 수 있는 최대 효용은 X 만을 이용한 예측기의 효용 u*_X 와 동일함을 보인다(정리 2.8). 따라서 Z 가 Y 예측에 추가 정보를 제공한다면, 효용을 u*_X 이상으로 높이려면 반드시 일정 수준의 분리 위반을 감수해야 한다는 필연적 트레이드오프가 존재한다.

실용적 측면에서는 연속형 변수에 대한 복잡한 변분 추정 대신, 이산형 태스크에서 CMI를 직접 플러그인 추정량으로 계산하고 이를 손실에 가중치 λ 와 함께 추가하는 정규화 기법을 제안한다. 이 방법은 별도의 적대적 네트워크나 보조 밀도 모델 없이도 미분 가능하고, 샘플 평균으로 쉽게 구현 가능하며, 이론적 보장을 그대로 유지한다. 실험에서는 다양한 데이터셋에 대해 λ 값을 변화시켜 전체 파레토 곡선을 근사했고, 기존의 감소 기반 방법(예: 아가와르 감소, 적대적 디바이싱)보다 더 부드럽고 안정적인 수렴을 보이며, 동일하거나 더 높은 정확도와 낮은 CMI를 달성했다.

전체적으로 이 논문은 정보 이론을 기반으로 분리‑효용 트레이드오프의 구조적 특성을 명확히 규명하고, CMI를 직접 최소화하는 간단하면서도 이론적으로 타당한 학습 기법을 제시함으로써, 고차원·고카디널리티 모델에서도 공정성을 실현할 수 있는 실용적 길을 제시한다.