압축을 이용한 차등 프라이버시

초록

본 논문은 무작위 선형·아핀 변환을 통해 데이터 레코드를 크게 압축하면서도 변수 수는 유지하는 방법을 제안한다. 압축된 데이터에 차등 프라이버시(DP) 보장을 적용해 고차원 희소 회귀, 주성분 분석(PCA) 등 다양한 통계 학습에 활용 가능한 합성 데이터를 생성한다.

상세 분석

이 연구는 기존 차등 프라이버시 기법이 데이터 차원과 레코드 수가 동시에 큰 경우에 적용하기 어려운 점을 보완하고자, “압축-프라이버시”라는 두 단계 프로세스를 제시한다. 첫 번째 단계는 원본 데이터 행렬 (X\in\mathbb{R}^{n\times d})에 대해 무작위 행렬 (A\in\mathbb{R}^{m\times n};(m\ll n))를 곱하거나, 추가적인 상수벡터 (b)를 더해 (Y = AX + b) 형태의 압축 데이터를 만든다. 여기서 (A)는 서브가우시안 혹은 서브엑스포넨셜 분포를 따르는 독립적인 엔트리를 가지며, 압축 비율 (m/n)가 충분히 작아도 원본 변수 차원 (d)는 그대로 유지된다. 이 압축 과정은 Johnson‑Lindenstrauss Lemma와 유사한 거리 보존 특성을 갖지만, 차등 프라이버시 관점에서는 레코드 수준의 민감도(sensitivity)를 크게 감소시킨다. 즉, 한 레코드가 전체 압축 결과에 미치는 영향이 원본 공간에서보다 (O(m/n)) 정도로 축소되므로, 동일한 (\epsilon)‑DP 수준을 달성하기 위해 필요한 잡음 규모가 크게 줄어든다.

두 번째 단계에서는 압축된 데이터 (Y)에 라플라스 혹은 가우시안 메커니즘을 적용해 (\epsilon)‑DP를 보장한다. 논문은 두 가지 주요 정리를 제시한다. 첫 번째 정리는 압축 행렬 (A)가 (\ell_2)‑감도 (\Delta_2)를 갖는 경우, 라플라스 잡음의 스케일을 (\Delta_2/\epsilon)로 설정하면 전체 파이프라인이 (\epsilon)‑DP를 만족한다는 것이다. 두 번째 정리는 압축 후 데이터에 대한 통계량(예: 공분산 행렬, 회귀 계수 등)이 원본 데이터와 얼마나 근사되는지를 정량화한다. 특히, 고차원 희소 회귀에서는 압축 후 LASSO 해가 원본 LASSO 해와 (\mathcal{O}(\sqrt{(d\log d)/m})) 수준의 오차를 가진다는 결과를 도출한다. 이는 압축 비율이 충분히 크면(예: (m = \Omega(d\log d))) 통계적 효율성을 거의 손실 없이 유지할 수 있음을 의미한다.

또한, 논문은 압축 행렬의 설계가 프라이버시와 유틸리티 사이의 트레이드오프를 조절한다는 점을 강조한다. 예를 들어, 정규 직교 행렬을 사용하면 거리 보존이 뛰어나지만, 민감도 감소 효과가 제한적이다. 반면, 완전히 무작위적인 서브가우시안 행렬은 민감도 감소가 크지만, 특정 구조적 정보(예: 변수 간 상관관계)가 약간 왜곡될 수 있다. 저자들은 실험을 통해 두 극단을 중간 정도로 조정한 “희소 랜덤 행렬”이 실제 데이터셋에서 가장 좋은 성능을 보인다고 보고한다.

마지막으로, 압축-프라이버시 프레임워크는 기존 DP 메커니즘과 호환 가능하다는 점을 입증한다. 압축 단계 뒤에 기존의 “프라이버시 예산 할당”이나 “포스트 프로세싱” 기법을 적용해 복합적인 프라이버시 요구사항(예: 연속 쿼리, 다중 분석)에도 대응할 수 있다. 이는 차등 프라이버시를 실제 빅데이터 파이프라인에 적용하려는 실무자들에게 중요한 설계 자유도를 제공한다.