메모리 없이 구현하는 효율적 노이즈 상관 DP 학습

초록

DP‑λCGD는 이전 단계와만 노이즈를 상관시켜 메모리 사용을 전혀 늘리지 않으면서도 DP‑SGD 대비 높은 정확도를 달성하는 새로운 차등 프라이버시 학습 방법이다. 의사난수 생성기로 과거 노이즈를 재생성하고, λ 파라미터로 상관 강도를 조절한다. 실험 결과 메모리 오버헤드가 없는 상태에서 연산 비용도 DP‑SGD와 거의 차이가 없으며, 다양한 모델과 데이터셋에서 정확도가 향상됨을 보였다.

상세 분석

본 논문은 차등 프라이버시를 보장하는 SGD에 노이즈 상관을 도입하는 기존 매트릭스 팩터화 기법들의 메모리 부담을 근본적으로 해소하고자 한다. 기존 방법들은 여러 이전 단계의 노이즈 벡터를 저장해야 하므로 파라미터 수가 수백만에 달하는 대형 모델에서는 수십 GB에 이르는 메모리 사용량이 발생한다. DP‑λCGD는 “즉시 이전 단계와만 상관”하는 하삼각 토플리츠 행렬 Cλ를 정의하고, 그 역행렬 Cλ⁻¹는 대각선에 1, 바로 아래 대각선에 –λ, 나머지는 0인 매우 단순한 형태를 갖는다. 이 구조는 매 iteration마다 새 노이즈 zₜ를 생성하고, 바로 전 단계의 노이즈 zₜ₋₁을 λ 비율만큼 빼는 연산으로 구현된다. 핵심 아이디어는 PRNG 상태를 저장·복원함으로써 과거 노이즈를 메모리에 보관하지 않고도 정확히 재생성할 수 있다는 점이다. 따라서 메모리 사용량은 기존 DP‑SGD와 동일하게 유지된다.

프라이버시 분석 측면에서는 Cλ의 민감도(sensitivity)가 λ에 따라 조절되며, 이를 기반으로 가우시안 노이즈 스케일 σ를 계산한다. 논문은 Balls‑in‑Bins 서브샘플링과 해당 프라이버시 회계기를 사용해, 서브샘플링에 의한 프라이버시 증폭 효과를 그대로 적용한다. 이론적으로는 MaxSE와 RMSE 두 가지 오류 지표에 대해 상한을 도출했으며, 특히 MaxSE 최적화가 RMSE 최적화보다 더 보수적인 결과를 제공함을 증명한다. λ∈