연합 환경을 위한 차등 프라이버시 탭ular 데이터 합성 프레임워크

초록

HeteroFedSyn은 수평 연합 학습 환경에서 이질적인 데이터 분포를 가진 다수의 참여자가 공동으로 2‑way 마진을 선택·압축·합성하여, 중앙 집중식 방법과 비슷한 품질의 차등 프라이버시 보호 합성 테이블 데이터를 생성하는 최초의 프레임워크이다. L2 기반 의존도 측정, 무편향 추정기, 적응형 마진 선택이라는 세 가지 핵심 기법을 도입해 노이즈와 통신 비용을 최소화한다. 실험 결과 범위 질의, Wasserstein 거리, 머신러닝 모델 학습 등 다양한 다운스트림 작업에서 중앙 집중식 PrivSyn에 근접한 성능을 보였다.

상세 분석

본 논문은 수평 연합 설정에서 차등 프라이버시(DP)를 보장하면서도 재사용 가능한 합성 데이터를 제공하려는 문제에 접근한다. 기존 DP 탭ular 데이터 합성 기법은 대부분 중앙집중형 혹은 로컬 DP(LDP) 환경을 전제로 하며, 연합 상황에서 데이터 이질성(heterogeneity)과 제한된 프라이버시 예산으로 인해 마진 선택 시 과도한 노이즈가 발생한다는 한계를 갖는다. HeteroFedSyn은 이러한 한계를 극복하기 위해 PrivSyn의 2‑way 마진 기반 합성 방식을 연합 환경에 맞게 재설계하였다.

첫 번째 핵심 기법은 L2 거리 기반 의존도 메트릭인 InDif2₍a,b₎이다. 기존 PrivSyn이 사용하던 L1 기반 InDif는 마진마다 독립적인 노이즈를 추가하면 곱셈 연산에서 편향이 크게 발생한다. 논문은 무작위 투영(random projection)을 이용해 고차원 마진을 압축(k ≪ |A|·|B|)하면서도 L2 거리의 기대값을 보존한다. 압축된 벡터에 가우시안 노이즈를 추가하고, 압축 전후의 선형 변환 특성을 이용해 무편향 추정량을 도출함으로써, 노이즈가 곱셈 연산에 미치는 영향을 정확히 보정한다.

두 번째 기법은 무편향 추정기이다. 압축된 마진에 가우시안 노이즈가 섞인 상태에서 InDif2를 계산하면 기대값이 원래 값보다 작아지는 편향이 발생한다. 저자들은 노이즈의 2차 모멘트를 활용한 교정식을 제시하고, 이를 통해 기대값이 정확히 원본 L2 거리와 일치하도록 만든다. 이 과정은 각 참여자가 로컬에서 독립적으로 수행되며, 서버는 교정된 의존도 점수만을 수집한다.

세 번째 기법은 적응형 마진 선택이다. 단순히 의존도 점수만으로 마진을 선택하면 이미 선택된 마진이 암시하는 관계를 중복해서 선택하게 된다. 논문은 선택 과정에서 현재까지 선택된 마진 집합을 고려해 남은 마진들의 의존도 점수를 동적으로 업데이트한다. 구체적으로, 선택된 마진이 포함하는 속성 쌍에 대해 해당 의존도 값을 감소시키는 방식으로 재점수를 수행한다. 이렇게 하면 제한된 프라이버시 예산 하에서 정보량이 높은 마진을 최대한 포괄할 수 있다.

시스템 설계 측면에서 HeteroFedSyn은 클라이언트‑서버 구조를 채택한다. 각 클라이언트는 (1) 로컬 1‑way·2‑way 마진을 계산, (2) 무작위 투영 후 가우시안 노이즈를 추가, (3) 무편향 추정기를 적용해 의존도 점수를 산출한다. 이후 서버는 모든 클라이언트로부터 압축된 마진과 의존도 점수를 수집하고, 적응형 선택 알고리즘을 실행해 전역적으로 사용할 마진 집합을 결정한다. 최종적으로 선택된 마진은 가우시안 메커니즘을 통해 노이즈가 추가된 형태로 서버에 전달되며, 서버는 PrivSyn의 GUM(Gradient Update Method) 절차를 변형한 Fed‑PrivSyn을 이용해 합성 데이터를 생성한다.

실험에서는 4개의 공개 탭ular 데이터셋(Adult, Census, Hospital, Loan 등)을 사용해 다양한 데이터 이질성을 시뮬레이션했다. 평가 지표는 (1) 범위 질의의 평균 절대 오차, (2) 합성 데이터와 원본 데이터 간 Wasserstein 거리, (3) 합성 데이터를 학습 데이터로 사용했을 때 Random Forest, MLP, XGBoost 모델의 정확도/ROC‑AUC 차이이다. 결과는 중앙집중식 PrivSyn과 비교했을 때, ε = 13 구간에서 대부분의 지표가 510% 이내의 차이만을 보였으며, 특히 이질성이 큰 경우 적응형 선택이 크게 효과적이었다. 또한 통신량은 압축 차원 k를 100~200으로 설정했을 때 전체 마진 크기의 5% 이하로 감소하였다.

보안 분석에서는 전체 프로토콜이 (ε,δ)‑DP를 만족함을 zCDP 기반 합성으로 증명했으며, 각 단계(마진 계산·압축·노이즈·선택·합성)의 프라이버시 비용을 명시적으로 할당해 전체 예산이 초과되지 않음을 보였다. 특히 무편향 추정기와 적응형 선택이 프라이버시 예산을 효율적으로 사용하도록 설계된 점이 주요 기여로 평가된다.

요약하면, HeteroFedSyn은 (1) L2 기반 의존도와 무작위 투영을 통한 노이즈 효율성, (2) 무편향 추정으로 정확한 의존도 복원, (3) 적응형 마진 선택으로 예산 최적화를 결합함으로써, 수평 연합 환경에서도 실용적인 차등 프라이버시 탭ular 데이터 합성을 가능하게 만든다.