프라이버시 보호를 위한 텍스트 인버전 기반 확산 모델 적응

초록

본 논문은 소규모 민감 데이터셋에 대형 확산 모델을 개인화할 때 발생하는 프라이버시 위험을 완화하기 위해, 텍스트 인버전(TI) 방식을 차별적으로 적용하고 각 이미지별 임베딩을 노이즈가 섞인 평균으로 집계하는 DP‑Agg‑TI 기법을 제안한다. 가우시안 메커니즘과 서브샘플링을 이용해 (ε,δ) 차등 프라이버시를 보장하면서도, 기존 DP‑SGD 기반 파인튜닝에 비해 스타일 재현 품질이 크게 향상됨을 실험적으로 입증한다.

상세 분석

본 연구는 두 가지 핵심 아이디어를 결합한다. 첫째, 텍스트 인버전(TI)은 전체 모델 파라미터를 업데이트하지 않고, 이미지 집합의 스타일을 하나의 토큰 임베딩으로 압축한다는 점에서 메모리·연산 효율성이 뛰어나다. 둘째, 차등 프라이버시(DP)를 임베딩 수준에 직접 적용함으로써, 기존 DP‑SGD가 요구하는 대규모 그래디언트 클리핑·노이즈 주입 비용을 회피한다. 구체적으로, 저자는 각 이미지 x(i)에 대해 독립적인 임베딩 u(i)를 학습하고, ℓ2 정규화 후 평균을 구한다. 이 평균에 가우시안 노이즈 N(0,σ²I)를 추가해 u*DP를 얻으며, 여기서 σ는 민감도 Δ=2/n과 프라이버시 파라미터 (ε,δ)에 의해 결정된다. 서브샘플링(m≤n)을 도입하면 민감도가 2/m으로 감소하고, 프라이버시 증폭 효과(ε’≈(m/n)·ε)를 활용해 동일 ε에서도 더 작은 σ를 사용할 수 있다.

프라이버시 보장은 Gaussian 메커니즘과 RDP 기반 회계로 정량화되며, δ는 일반적으로 1/n으로 설정한다. 실험에서는 ε=1,2,4 등 다양한 예산을 시험했으며, ε가 낮을수록 이미지 품질이 약간 저하되지만 스타일 핵심 요소는 유지된다. 특히, DP‑Agg‑TI는 DP‑SGD가 전혀 의미 있는 출력을 생성하지 못하는 상황에서도, 비프라이버시 기준과 거의 차이가 없는 결과를 제공한다. 이는 임베딩 차원에서 노이즈가 직접 이미지 생성에 미치는 영향이 제한적이며, 텍스트‑이미지 교차 주의 메커니즘이 노이즈에 강인함을 시사한다.

또한, 저자는 두 개의 실제 데이터셋(예술가 @eveismyname의 158개 작품, 파리 2024 올림픽 픽토그램 47개)을 사용해 스타일 전이 실험을 수행한다. 비프라이버시 TI와 DP‑Agg‑TI를 동일 조건에서 비교했을 때, DP‑Agg‑TI는 색감·선형·구조적 특징을 거의 보존하면서도 프라이버시를 만족한다. 서브샘플링 비율을 0.5~0.8로 조정하면 노이즈량을 크게 줄일 수 있어, 실용적인 프라이버시·품질 트레이드오프를 제공한다.

결론적으로, DP‑Agg‑TI는 대규모 확산 모델을 소규모 민감 데이터에 안전하게 맞춤화할 수 있는 효율적인 대안이며, 차등 프라이버시를 임베딩 수준에서 구현함으로써 기존 DP‑SGD의 한계를 극복한다는 점에서 학술적·산업적 의의가 크다.