이미지 데이터셋 특성이 프라이버시 보호 머신러닝에 미치는 영향 분석

초록

본 연구는 다양한 이미지 데이터셋의 구조적·통계적 특성이 차등 개인정보 보호(DP)를 적용한 CNN 모델의 성능과 멤버십 추론 공격(MIA) 취약성에 어떻게 영향을 미치는지 실험적으로 조사한다. 클래스 불균형, 클래스 수, 엔트로피, 피셔 판별비(FDR) 등 6가지 메트릭을 기준으로 비공개·공개 모델을 비교했으며, DP(ε = 30, 1) 적용 시 소수 클래스의 취약성이 크게 완화되고, 클래스 수가 적을수록 유틸리티와 프라이버시 모두 개선됨을 확인했다.

상세 분석

이 논문은 이미지 기반 머신러닝 서비스(MLaaS)에서 흔히 사용되는 CNN 아키텍처를 대상으로, 데이터셋 수준(클래스 수, 클래스 불균형, 전체 샘플 수)과 데이터 수준(정보 밀도, 색상·그레이스케일 비율, 클래스 간 유사도) 두 축의 특성을 정량화하였다. 주요 메트릭으로는 엔트로피, 압축 비율, 표준편차, 피셔 판별비(FDR)를 사용해 각각 데이터의 복잡도와 구분 가능성을 평가한다.

실험은 MNIST, FMNIST, SVHN, CIFAR‑10, CIFAR‑100, EMNIST 등 6개의 공개 이미지 데이터셋을 선택하고, 동일한 CNN 구조를 비공개 모델(ε = ∞)과 차등 프라이버시 모델(ε = 30, 1)로 학습시켰다. 모델 유틸리티는 정확도와 F1‑score, 과적합 정도는 train‑test 정확도 격차로 측정하였다. 프라이버시 위험 평가는 LiRA 기반 멤버십 추론 공격을 적용해 ROC‑AUC, TPR@FPR=0.1, TPR@FPR=0.001을 지표로 삼았다.

핵심 결과는 다음과 같다.

1. 클래스 불균형: 소수 클래스에 대한 MIA 성공률이 현저히 높았으며, ε = 1 수준의 강한 DP 적용 시 이 격차가 크게 감소했다. 이는 노이즈가 소수 클래스의 특수한 학습 신호를 희석시켜 공격자를 혼란스럽게 하기 때문이다.
2. 클래스 수: 클래스가 많을수록(예: CIFAR‑100, EMNIST) 비공개 모델의 정확도는 감소하고, 동시에 MIA ROC‑AUC가 상승했다. DP를 적용하면 정확도 손실이 더 크게 나타나지만, ε = 30 정도에서는 여전히 유의미한 유틸리티를 유지하면서 공격 성공률을 크게 억제했다.
3. 엔트로피와 압축 비율: 데이터 엔트로피가 높고 압축 비율이 낮은(즉, 정보가 고르게 분포된) 데이터셋은 MIA가 어려웠다. 이는 모델이 개별 샘플을 구분하기 위한 특성을 충분히 학습하지 못하게 만들기 때문이다.
4. FDR: 피셔 판별비가 낮은(클래스 간 구분이 어려운) 데이터셋은 DP 적용 시 유틸리티 손실이 크게 나타났으며, 동시에 공격 성공률도 약간 상승했다. 이는 차등 프라이버시가 이미 낮은 구분력을 가진 데이터에 추가 노이즈를 더해 학습 효율을 저하시킨 결과로 해석된다.
5. 색상 vs. 그레이스케일: 컬러 이미지(SVHN, CIFAR‑10/100)는 그레이스케일(MNIST, FMNIST)보다 높은 정확도를 보였지만, 동일한 ε에서 컬러 데이터가 더 높은 MIA ROC‑AUC를 기록했다. 이는 색상 채널이 추가적인 정보원을 제공해 모델이 더 많은 세부 정보를 기억하게 하기 때문이다.

전반적으로, 데이터셋 특성이 프라이버시-유틸리티 트레이드오프에 미치는 영향은 DP 예산에 따라 달라진다. 낮은 ε(강한 프라이버시)에서는 대부분의 데이터셋에서 공격 성공률이 크게 감소하지만, 유틸리티 손실이 데이터 복잡도(클래스 수, FDR)와 비례한다. 반면, 중간 수준의 ε(≈30)에서는 클래스 불균형 문제만 효과적으로 완화하면서도 실용적인 정확도를 유지할 수 있다.

이러한 발견은 데이터 엔지니어링 단계에서 데이터셋을 사전 분석하고, 필요에 따라 클래스 리샘플링, 차원 축소, 혹은 색상 변환 등을 적용해 프라이버시 위험을 낮추는 전략을 설계할 근거를 제공한다. 또한, DP 예산을 설정할 때는 데이터의 내재적 복잡성을 고려해 ε 값을 조정하는 것이 바람직함을 시사한다.