완전 적응형 fDP 필터의 한계와 근사 해법

초록

**
본 논문은 완전 적응형 구성에서 f‑DP 기반 프라이버시 필터가 일반적으로 유효하지 않음을 보이고, 필터가 유효할 수 있는 필요·충분 조건을 제시한다. 또한 적응형 프라이버시 손실에 대한 중심극한정리를 증명하고, 작은 혹은 큰 샘플링 비율에서 서브샘플링 가우시안 메커니즘에 대해 기존 RDP 필터보다 더 타이트한 근사 GDP 필터를 설계한다.

**

상세 분석

**
논문은 먼저 프라이버시 필터라는 개념을 소개한다. 필터는 적응형으로 선택되는 메커니즘들의 연속적인 실행을 감시하면서 사전에 지정된 전역 프라이버시 예산을 초과하지 않도록 중단 시점을 결정한다. 기존 연구에서는 (ε,δ)‑DP와 RDP에 대해 이러한 필터가 잘 정의되고, 특히 RDP의 경우 단순한 합산 규칙을 이용해 완전 적응형 상황에서도 최적에 가까운 보장이 가능함을 보여왔다.

f‑DP는 테스트 관점에서 두 분포 사이의 최적 거짓 양성·거짓 음성 곡선인 trade‑off function을 이용해 프라이버시를 정의한다. 이 정의는 비적응형 합성에 대해 tensor product 연산을 통해 정확히 보존되지만, 적응형 상황에서는 개별 trade‑off function을 그대로 곱한 뒤 사전 예산 fB와 비교해 중단 여부를 판단하는 ‘자연스러운 f‑DP 필터’가 직관적으로 제안된다.

핵심 결과는 이 자연스러운 필터가 일반적으로 유효하지 않다는 것이다. 저자들은 서브샘플링 가우시안 메커니즘을 이용한 구체적인 반례를 제시한다. 여기서는 첫 번째 메커니즘의 출력에 따라 두 번째와 세 번째 메커니즘의 프라이버시 파라미터가 달라지며, 이때 각 단계에서 얻어지는 trade‑off function들의 Blackwell 순서가 서로 교차한다. 즉, 어느 한쪽이 전체적으로 더 강하거나 약하지 않으며, 필터가 허용하는 예산 fB를 만족하더라도 실제 전체 합성은 fB‑DP를 위반한다. 이러한 현상은 ‘캘리브레이션 포인트’라 부르는 FPR 구간이 서로 다른 최소 trade‑off function으로 나뉘는 구조에서 비롯된다.

다음으로 논문은 언제 자연스러운 필터가 유효할 수 있는지를 정리한다. 저자는 두 가지 필요·충분 조건을 제시한다. 첫 번째는 모든 가능한 적응 경로에 대해 개별 trade‑off function들의 tensor product가 동일한 순서(즉, Blackwell 순서)로 유지되는 경우이며, 두 번째는 각 단계의 trade‑off function이 convex‑closed 형태로, 합성 후에도 원래의 f‑DP 곡선 아래에 머무르는 경우이다. 이 조건들은 RDP가 선형적으로 합산될 수 있는 이유와 일맥상통한다.

또한 저자는 완전 적응형 중심극한정리를 증명한다. 프라이버시 손실 변수(LRV)는 각 메커니즘의 로그우도비로 정의되며, 적응형 선택에 의해 의존성이 도입된다. martingale Berry–Esseen 기법을 활용해, 적응형 과정에서도 LRV의 합이 정규분포에 가까워짐을 보이며, 이때의 평균·분산은 개별 메커니즘의 μ, σ²에 의해 결정된다. 이 정리는 이후 근사 GDP 필터를 설계하는 이론적 기반이 된다.

마지막으로 저자는 근사 GDP 필터를 제안한다. 샘플링 비율 q가 0.2 이하이거나 0.8 이상인 경우, 서브샘플링 가우시안 메커니즘의 프라이버시 손실이 정규근사에 매우 가깝다는 점을 이용한다. 중심극한정리와 PLRV의 고계 모멘트 근사를 결합해, 각 단계의 μ를 누적하고, 누적된 μ와 분산을 이용해 전체 합성에 대한 GDP 파라미터 (μ̂, σ̂) 를 계산한다. 이 알고리즘은 기존 RDP 기반 필터보다 동일한 샘플링 비율에서 더 작은 ε(또는 μ)를 제공함을 실험적으로 확인한다. 특히 DP‑SGD와 같은 반복 학습 시나리오에서, 작은 q(데이터가 크게 축소되는 경우)와 큰 q(거의 전체 데이터를 사용하지만 노이즈가 적은 경우) 모두에 대해 현저한 개선을 보인다.

요약하면, 논문은 f‑DP 기반 필터가 일반적으로 실패함을 증명하고, 성공 조건을 명확히 제시함으로써 이론적 한계를 정리한다. 동시에 적응형 중심극한정리를 활용한 근사 GDP 필터를 제안해, 실제 머신러닝 응용에서 RDP보다 더 효율적인 프라이버시 회계 방법을 제공한다.

**