프라이버시 보호 학습과 정제: 순수와 근사 차등 프라이버시의 샘플 복잡도 차이

초록

본 논문은 순수 ε‑차등 프라이버시와 근사 (ε,δ)‑차등 프라이버시 하에서 사적 학습과 데이터 정제(sanitization)의 샘플 복잡도를 비교한다. 근사 프라이버시를 허용하면 POINT, THRESH, 고차원 직사각형 등 여러 기본 개념 클래스에 대해 순수 프라이버시 대비 현저히 적은 샘플로 학습·정제가 가능함을 보인다. 또한, 라벨 프라이버시 모델에서는 VC 차원이 샘플 복잡도의 정확한 지표가 됨을 증명한다.

상세 분석

이 논문은 차등 프라이버시의 두 변형, 즉 순수 ε‑프라이버시와 근사 (ε,δ)‑프라이버시가 학습 및 정제 문제에 미치는 영향을 정량적으로 분석한다. 핵심 기여는 ‘Quasi‑Concave Promise Problem(QCPP)’이라는 새로운 최적화 프레임워크를 도입한 점이다. QCPP는 해답 공간이 순서화되고, 품질 함수가 quasi‑concave 형태를 가질 때, 작은 규모의 하위 문제 해결을 통해 전체 문제를 근사적으로 해결할 수 있음을 보인다. 이를 기반으로 저자들은 재귀적 알고리즘을 설계해, (ε,δ)‑프라이버시 하에서 다음과 같은 결과를 얻는다.

1. POINT_d 학습: 기존 순수 프라이버시에서는 Ω(d)개의 샘플이 필요했지만, 근사 프라이버시에서는 O(log (1/δ)) 샘플만으로 충분함을 보였다. 이는 δ를 2^{‑o(d)} 수준으로 설정하면 순수와의 격차가 지수적으로 확대됨을 의미한다.

2. THRESH_d 학습: 임계값 함수는 VC 차원이 1임에도 순수 프라이버시에서는 Ω(d) 샘플이 필요했다. 논문은 QCPP와 ‘Choosing Mechanism’(지수 메커니즘을 저감된 민감도 함수에 적용) 을 결합해, 샘플 복잡도를 O(log* d) 수준으로 낮춘다. 이는 기존의 O(d)·poly(1/ε) 복잡도와 비교해 획기적인 개선이다.

3. 고차원 축에 정렬된 직사각형(Axis‑Aligned Rectangles): 차원 d에 대해 순수 프라이버시 학습은 Ω(d)·poly(1/ε) 샘플이 필요했지만, 근사 프라이버시에서는 재귀적 QCPP 접근법을 이용해 Õ(log d)·poly(1/ε, log (1/δ)) 샘플만으로 학습이 가능함을 증명한다.

4. 정제(sanitization): POINT_d와 THRESH_d에 대해 각각 (ε,δ)‑프라이버시 정제기를 설계했으며, 샘플 복잡도가 순수 프라이버시 정제기의 O(VC·log|X|)와 달리 O(log (1/δ))·poly(1/ε) 수준으로 감소한다. 특히 THRESH_d 정제는 QCPP를 반복 적용해 해결한다.

5. 라벨 프라이버시: 라벨만 보호하는 완화된 프라이버시 모델에서는 VC 차원이 샘플 복잡도의 정확한 상·하한이 된다. 즉, 라벨 프라이버시 하에서의 학습 비용은 비프라이버시 학습과 동일하게 Θ(VC/α) (α는 오류 허용도)이다.

기술적으로, 논문은 ‘Bounded‑Growth Functions’를 정의해 지수 메커니즘의 입력 크기를 로그 수준으로 줄이는 방법을 제시한다. 또한, QCPP의 재귀적 구조를 이용해 문제를 점진적으로 축소하고, 각 단계에서 작은 데이터베이스로 충분히 정확한 선택을 수행한다. 이러한 설계는 근사 프라이버시의 δ 파라미터가 매우 작아도(예: δ=2^{‑Ω(d)}) 샘플 요구량이 크게 늘어나지 않음을 보이며, 순수 프라이버시와는 근본적인 차이를 만든다.

전반적으로 이 연구는 근사 차등 프라이버시가 실용적인 샘플 효율성을 제공한다는 강력한 증거를 제시하고, QCPP라는 새로운 도구를 통해 다양한 학습·정제 문제에 적용 가능한 일반적인 프레임워크를 제공한다. 또한, 라벨 프라이버시와 같은 완화된 모델에서도 기존 이론과 일치하는 결과를 얻어, 프라이버시 보호 학습 이론의 전반적인 그림을 확장한다.