DP GD가 일반화 향상 두 층 CNN에서의 사례 연구

초록

본 논문은 차등 개인정보 보호 경사 하강법(DP‑GD)이 일반적인 경사 하강법(GD)보다 두 층 Huberized ReLU CNN을 학습할 때 테스트 정확도가 더 높을 수 있음을 이론적·실험적으로 입증한다. 신호‑대‑잡음 비율(SNR)이 일정 범위에 있을 때 GD는 훈련 손실을 거의 0에 가깝게 만들지만 테스트 손실과 오류는 상수 수준에 머무른다. 반면 DP‑GD는 적절한 초기화와 학습률, 그리고 조기 종료를 적용하면 훈련 손실을 낮추면서도 테스트 손실을 크게 감소시켜 프라이버시 보호와 일반화 성능을 동시에 달성한다.

상세 분석

논문은 먼저 데이터 생성 모델을 정의한다. 입력 벡터 x는 신호 성분 µ와 가우시안 잡음 ξ로 구성되며, 레이블 y는 라데마처(±1)이다. 신호‑대‑잡음 비율 SNR = ‖µ‖²/(σₚ√d) 로 정의하고, SNR이 너무 작거나 너무 크면 문제 자체가 지나치게 어려워지거나 쉬워진다. 저자는 SNR⁻¹이 Ω(n^{1/q})이면서 동시에 O(min{√d·C·m², √n·C}) 범위에 있을 때, 즉 “중간” 수준의 SNR 상황을 분석한다.

두 층 CNN은 각 클래스별로 m개의 필터 w_{j,r} (j∈{+1,−1})를 갖고, Huberized ReLU σ(z) 를 사용한다. σ는 구간