차등프라이버시 SGD의 통계적 추론과 신뢰구간 구축

초록

본 논문은 무작위 서브샘플링을 사용하는 차등프라이버시 확률적 경사 하강법(DP‑SGD)의 점근적 분포를 규명하고, 통계적, 샘플링, 프라이버시로 인한 세 가지 변동성을 명시한다. 이를 바탕으로 플러그인 방식과 랜덤 스케일링 피벗 방법 두 가지 신뢰구간 구성법을 제안하며, 이론적 정당성과 수치 실험을 통해 명목 커버리지를 확인한다.

상세 분석

논문은 먼저 기존 연구가 주로 순환형(사이클) 서브샘플링에 의존해 온 점을 지적하고, 차등프라이버시 보장을 위해서는 각 반복마다 데이터 인덱스를 무작위로 선택하는 랜덤 서브샘플링이 필수임을 강조한다. 이를 위해 저자는 강한 볼록성, 헤시안 존재, 그리고 그래디언트의 제한된 2‑센시티비티 등 세 가지 기본 가정을 설정한다. 이 하에서 학습률 ηₜ = η·t^{‑α} (α∈(½,1))와 전체 반복 횟수 T = k·n (k≥c₀) 를 가정하면, 평균화된 SGD 추정량 (\barθ_T) 가
\