서브선형 시간의 빠른 MWEM 프라이버시 데이터 공개

초록

본 논문은 차별적 프라이버시를 보장하는 MWEM 프레임워크의 핵심 병목인 지수 메커니즘의 $Θ(m)$ 시간 복잡도를 기대값 $Θ(\sqrt{m})$ 로 감소시키는 방법을 제안한다. lazy Gumbel 샘플링과 k‑MIPS(최대 내적 탐색) 기반 k‑NN 인덱스를 활용해 Report‑Noisy‑Max 단계에서 상위 $\sqrt{m}$ 후보만을 효율적으로 추출한다. 이 기법을 선형 쿼리 응답 및 선형 프로그램(LP) 해결에 적용해 실험적으로 기존 MWEM 대비 수십 배의 실행 시간 감소를 확인하면서도 정확도와 프라이버시 보장은 유지한다.

상세 분석

Fast‑MWEM은 기존 MWEM이 매 반복마다 모든 후보(쿼리 혹은 제약식) $m$ 개에 대해 점수를 계산하고, 이를 기반으로 지수 메커니즘을 실행함으로써 $Θ(m)$ 의 시간 복잡도를 갖는 구조적 한계를 가지고 있다는 점을 정확히 짚어낸다. 논문은 이 과정을 두 단계로 분해한다. 첫 번째는 점수 $s_i$ 가 내적 형태, 즉 $s_i = \langle q_i, h-p\rangle$ 로 표현될 수 있다는 관찰이다. 여기서 $h$는 실제 데이터 히스토그램, $p$는 현재 MWU가 유지하는 합성 히스토그램이다. 두 번째는 내적값이 큰 상위 $k=\sqrt{m}$ 개를 빠르게 찾는 문제를 최대 내적 탐색(k‑MIPS) 문제로 환원한다는 점이다. k‑MIPS는 기존 연구에서 LSH, IVF, HNSW 등 효율적인 k‑NN 구조로 근사 해결 가능하므로, Fast‑MWEM은 이러한 인덱스를 사전 구축하고 매 반복마다 질의 $h-p$ 를 입력해 상위 $\sqrt{m}$ 후보를 추출한다.

후보 집합 $S_k$ 를 확보한 뒤, 논문은 Mussmann et al. (2017)의 lazy Gumbel 샘플링을 적용한다. 전통적인 Gumbel‑Max 트릭은 모든 후보에 대해 Gumbel 잡음을 샘플링하고 최대값을 선택해 지수 메커니즘과 동일한 분포를 얻지만 $O(m)$ 시간이 소요된다. 반면 lazy 버전은 $S_k$ 에만 잡음을 샘플링하고, 나머지 $m-\sqrt{m}$ 후보에 대해서는 확률적 보정(Binomial 및 Uniform 샘플링)을 통해 전체 분포를 근사한다. 이 과정에서 발생하는 오차는 $\gamma = 1/m$ 수준으로, 전체 알고리즘의 $(\varepsilon,\delta)$‑DP 보장을 크게 해치지 않는다.

이론적 분석에서는 (1) 정확한 k‑MIPS 인덱스가 존재한다면 각 반복의 실행 시간이 $Θ(|\mathcal{X}|\sqrt{m})$ 로 감소함을 보이고, (2) 인덱스가 근사일 경우 발생할 수 있는 오류를 정량화해 전체 프라이버시 손실에 $1/m$ 이하의 추가 오차만을 부여한다. 또한, 전체 $T = O(\alpha^{-2}\log m)$ 반복에 대해 고급 합성 정리를 적용해 최종 프라이버시 파라미터가 $(\varepsilon,\delta+1/m)$ 로 유지됨을 증명한다.

응용 측면에서 논문은 두 가지 주요 문제에 Fast‑MWEM을 적용한다. 첫 번째는 $m$ 개의 선형 쿼리를 동시에 답하는 문제로, 기존 MWEM이 $O(|\mathcal{X}|m)$ 의 시간에 비해 $O(|\mathcal{X}|\sqrt{m})$ 로 크게 가속된다. 두 번째는 제약이 $m$ 개인 선형 프로그램을 프라이버시 하에 푸는 문제이다. 여기서는 스칼라‑프라이버시 LP와 제약‑프라이버시 LP 두 경우를 다루며, 각각 $O(d\sqrt{m})$, $O(m\sqrt{d})$ 로 실행 시간이 감소한다.

실험에서는 합성 데이터와 실제 데이터셋을 이용해 쿼리 수 $m$ 을 10³10⁵ 범위로 늘렸을 때, Fast‑MWEM이 기존 구현 대비 평균 15배30배 빠른 실행 시간을 보였으며, 오류(최대 절대 오차)와 프라이버시 파라미터는 거의 동일하게 유지되었다. 특히 IVF와 HNSW 인덱스를 사용했을 때 인덱스 구축 비용을 제외하고도 매 반복당 서브선형 검색이 가능함을 확인했다.

요약하면, Fast‑MWEM은 지수 메커니즘의 핵심 연산을 내적 기반의 k‑MIPS와 lazy Gumbel 샘플링으로 대체함으로써, 이론적 프라이버시·정확도 보장을 유지하면서도 실용적인 대규모 데이터 분석에 필요한 실행 시간을 획기적으로 단축한다는 점에서 차별화된 기여를 한다.