슬라이스 레니 퍼프시 프라이버시와 방향성 잡음 메커니즘

초록

본 논문은 퍼프시 프라이버시(PP)와 레니 퍼프시 프라이버시(RPP)의 고차원 계산 복잡성을 해소하기 위해 슬라이스 레니 퍼프시 프라이버시(SRPP)를 제안한다. 슬라이스 워셔스테인 거리 기반 민감도(SW‑sensitivity)를 이용해 Gaussian 잡음의 폐쇄형 캘리브레이션을 제공하고, 기울기 클리핑과 히스토리‑Uniform 캡(HUC) 및 그 서브샘플링 변형(sa‑HUC) 회계자를 통해 SGD와 같은 반복 학습에 적용 가능한 탈컴포즈‑컴포즈 방식을 설계한다. 실험 결과, 정적 쿼리와 반복 학습 모두에서 기존 방법 대비 프라이버시‑유틸리티 트레이드오프와 확장성이 크게 개선되었다.

상세 분석

SRPP는 기존 RPP가 사용하던 고차원 Rényi 발산 대신, 1차원 투영을 이용한 평균 및 공동 슬라이스 Rényi 발산(Ave‑SRD, Joint‑SRD)을 도입함으로써 차원의 저주를 회피한다. 핵심 아이디어는 모든 방향 u∈S^{d‑1}에 대해 투영 Ψ_u를 적용하고, 각 투영에 대한 ∞‑워셔스테인 거리를 계산해 평균화하거나 공동으로 결합하는 것이다. 이렇게 정의된 SW‑sensitivity는 기존 ∞‑WD의 상한을 제공하면서도 Monte‑Carlo 샘플링과 1‑D 정렬만으로 효율적으로 추정 가능하다. 따라서 고차원 최적 운송 문제를 풀 필요가 없어 계산 복잡도가 O(N·L·log N) 수준으로 감소한다(여기서 N은 데이터 샘플 수, L은 사용된 슬라이스 수).

메커니즘 측면에서 저자들은 Sliced Wasserstein Mechanism(SWM)을 설계했으며, 이는 f(X)+N 형태의 가우시안 잡음 N∼𝒩(0,σ²I) 를 추가한다. σ는 SW‑sensitivity와 목표 (α,ε) 레니 파라미터에 따라 σ=Δ_SW·√(α/(2ε)) 로 폐쇄형 계산된다. 이때 Δ_SW는 평균 또는 공동 슬라이스 민감도 중 선택된 값이며, 실제 구현에서는 샘플링된 방향 수를 조절해 근사 정확도를 제어한다.

반복 학습에서는 기존 DP‑SGD와 유사하게 각 단계에서 기울기를 클리핑하고, 클리핑된 기울기에 SW‑sensitivity 기반 잡음을 추가한다. 새로운 회계 기법인 History‑Uniform Caps(HUC)와 subsampling‑aware HUC(sa‑HUC)는 각 반복에서 발생하는 비밀‑데이터 간 이동량을 하나의 캡 K_t(또는 K_t²) 로 요약한다. 이 캡은 비밀 쌍 (s_i,s_j) 에 대한 조건부 출력 차이의 최댓값을 의미하며, 기존의 “그룹 프라이버시” 상한을 피하면서도 합성 가능성을 보장한다. 특히, 동일한 슬라이스 기하학을 공유하는 여러 메커니즘을 독립적으로 학습한 뒤 합성할 경우, Ave‑SRPP와 Joint‑SRPP 모두 비용이 단순히 개별 비용의 합으로 상계될 수 있음을 증명한다. 이는 파이프라인이나 캐스케이드 구조에서도 모듈식 프라이버시 회계가 가능함을 의미한다.

이론적 기여 외에도 저자들은 실험을 통해 SRPP‑SGD가 기존 RPP‑SGD 및 DP‑SGD 대비 동일한 ε,δ 하에서 더 낮은 테스트 오차를 달성함을 보여준다. 정적 쿼리 실험에서는 SWM이 GWM 대비 3배 이상 빠르게 민감도를 추정하고, 동일한 프라이버시 수준에서 더 작은 잡음 표준편차를 사용해 정확도를 유지한다. 또한, 슬라이스 수 L을 증가시킬수록 근사 오차가 급격히 감소하지만, 실용적인 L=50~100 정도에서 이미 충분한 정확도를 제공한다는 점을 확인했다. 전체적으로 SRPP는 고차원 데이터와 반복 학습 시나리오에서 퍼프시 프라이버시를 실용적으로 적용할 수 있는 새로운 프레임워크를 제시한다.