샘플링 없는 프라이버시 회계 행렬 메커니즘 무작위 할당

초록

본 논문은 데이터 배치에 balls‑in‑bins(무작위 할당) 방식을 적용한 행렬 메커니즘의 프라이버시 증폭을, 샘플링 기반 추정 없이 Rényi 발산과 조건부 합성을 이용해 결정론적(ε,δ)‑DP 보장을 제공하는 새로운 회계 기법으로 분석한다. 동적 프로그래밍을 통해 밴드 행렬에 대해 효율적으로 Rényi 발산을 계산하고, 비밴드 경우에는 상한을 제공한다. 실험 결과는 기존 Monte‑Carlo 기반 방법보다 정확도와 계산 효율성 모두에서 우수함을 보여준다.

상세 분석

이 논문은 최근 DP‑SGD에서 흔히 사용되는 balls‑in‑bins(무작위 할당) 배치 방식을 행렬 팩터화 메커니즘에 적용하면서 발생하는 프라이버시 증폭 문제를 해결한다. 기존 연구인 Choquette‑Choo et al. (2025)는 Monte‑Carlo 샘플링을 통해 증폭 파라미터를 추정했지만, 그 결과는 고확률 보장에 머물며 δ가 작아질수록 샘플 수가 급증한다는 실용적 한계가 있었다. 논문은 이러한 한계를 넘어, 샘플링 없이도 정확한 (ε,δ)‑DP 보장을 제공하는 두 가지 회계 방법을 제시한다. 첫 번째는 Rényi 발산 기반 회계로, 행렬 C의 구조적 특성을 이용해 동적 프로그래밍으로 발산 값을 정확히 계산한다. 특히 C가 p‑밴드 행렬이면 Gram 행렬 G가 순환 밴드 형태가 되므로, O(b p α² p) 시간 복잡도로 Rényi 발산을 구할 수 있다. 이는 기존 Feldman & Shenfeld (2025)의 지수적 복잡도 O(2^α)와 비교해 큰 개선이다. 두 번째는 조건부 합성 기반 회계로, “add” 방향의 Rényi 발산을 직접 계산하기 어려운 경우에도 상한을 구해 ε가 작은 상황에서 더 강력한 프라이버시 보장을 제공한다. 이 방법은 특히 작은 ε 구간에서 Rényi 기반 보정이 과도하게 보수적일 때 유용하다. 논문은 또한 밴드가 아닌 행렬에 대해 G의 원소를 τ 로 제한하고, τ α 2/σ² 를 추가하는 방식으로 상한을 만든다. 이렇게 하면 메모리와 시간 요구량을 크게 늘리지 않으면서도 보수적인 상한을 확보한다. 실험에서는 BandMF, BSR, BandInvMF, BISR 등 다양한 밴드 및 비밴드 행렬 메커니즘에 대해 기존 Monte‑Carlo 회계와 비교했을 때, 동일한 (ε,δ) 수준에서 필요한 샘플 수가 수십 배에서 수백 배까지 감소함을 보여준다. 또한, 동적 프로그래밍 구현 시 로그‑합‑지수(log‑sum‑exp) 기법을 사용해 수치적 안정성을 확보했으며, 메모리 사용량은 O(α p + b p) 로 실용적인 수준이다. 전체적으로 이 논문은 DP‑SGD와 행렬 팩터화 메커니즘을 결합한 최신 프라이버시 증폭 기법에 대해, 확률적 추정이 아닌 결정론적 보장을 제공함으로써 이론적 엄밀함과 실무 적용성을 동시에 만족시키는 중요한 진전을 이룬다.