덜 잡음 같은 인증 유지 민감도로 효율적인 머신 언러닝

초록

본 논문은 인증된 머신 언러닝에서 기존의 전역 민감도 기반 잡음 보정이 과도하게 보수적임을 지적하고, 보존 데이터 R을 고정한 채 삭제 집합 U만을 고려한 “유지 민감도(RS)”를 도입한다. RS는 전역 민감도보다 항상 작으며, 인증된 언러닝에 충분히 필요하고 때로는 필요조건까지 제공한다. 저자들은 MST 가중치, PCA, SVM·ERM 등 여러 표준 문제에 대해 RS 기반 잡음 감소를 이론·실험적으로 입증하고, 대표적인 활성 언러닝 알고리즘(Descent‑to‑Delete, Newton Update)을 RS에 맞게 재설계해 실용적 효용을 크게 향상시킨다.

상세 분석

논문은 먼저 인증된 머신 언러닝(unlearning)의 목표를 “삭제 집합 U를 제거한 후 모델 출력이 R=S\U만으로 재학습한 결과와 통계적으로 구별되지 않게 만드는 것”으로 정의한다. 이때 기존 연구들은 차등 프라이버시(DP)와 동일한 인접성 개념을 차용해 전역 민감도(GS)를 기준으로 잡음을 스케일링했으며, 이는 모든 가능한 데이터셋에 대해 최악의 출력 변화를 보장한다. 그러나 언러닝은 R의 프라이버시를 보호할 필요가 없고, 오직 U에 의한 영향만을 가려야 한다는 점에서 GS는 불필요하게 큰 상한을 제공한다.

이에 저자들은 “유지 민감도(RS)”를 새롭게 정의한다. RS는 고정된 R에 대해 가능한 단일 삽입 Z(=U)만을 고려해 f(R∪Z)와 f(R) 사이의 최대 ℓ₂ 거리로, 즉 R을 기준으로 한 로컬 민감도이다. 정의상 RS ≤ LS ≤ GS이며, LS가 DP 보장을 위해서는 추가적인 스무딩이 필요하지만 RS는 언러닝 보증에 직접적으로 충분하다. 핵심 정리 2.11은 Gaussian 메커니즘에 대해 σ = RS·ε⁻¹·√(2 log(1.25/δ)) 로 잡음 표준편차를 설정하면 (ε,δ)-언러닝을 달성한다는 것을 증명한다. 여기서 중요한 점은 두 경우(삭제 전후) 모두 동일한 R을 공유하므로 같은 잡음 스케일을 사용할 수 있다는 점이다. 반면 DP는 데이터 전체가 달라질 수 있기 때문에 동일한 잡음 스케일을 유지할 수 없으며, 이는 DP가 RS에 비해 과도한 잡음을 요구하게 만든다.

다음으로 저자들은 여러 전형적인 학습 문제에 RS를 적용한다.

1. 중앙값: 전역 민감도는 데이터 도메인 폭 B/2에 비례하지만, RS는 중앙값 주변의 최소 간격에 비례한다. 데이터가 잘 분포된 경우 RS는 O(1/n) 수준으로 크게 감소한다.
2. 최소 신장 트리(MST) 가중치: 전역 민감도는 가장 큰 엣지 가중치에 의해 제한되지만, RS는 현재 R에 포함된 트리 구조와 엣지 가중치 차이에 의해 제한된다. 특히 그래프가 충분히 연결되고 가중치가 균등하게 분포하면 RS는 상수 수준으로 감소한다.
3. 주성분 분석(PCA): 전역 민감도는 전체 데이터 범위에 의해 좌우되지만, RS는 고정된 R의 고유값 간격(특히 eigengap)에 의해 제한된다. eigengap이 클수록 한 샘플이 주성분 방향을 크게 바꾸지 못하므로 RS는 매우 작아진다.
4. 지원 벡터 머신(SVM) 및 일반화 위험 최소화(ERM): 전역 민감도는 손실 함수의 Lipschitz 상수와 데이터 범위에 의해 결정되지만, RS는 R에 대한 마진(또는 Hessian의 최소 고유값)으로 제한된다. 마진이 크면 한 샘플이 최적 파라미터를 크게 이동시키지 못한다.

실험에서는 위 네 가지 문제에 대해 동일한 (ε,δ) 설정 하에 GS 기반 잡음과 RS 기반 잡음을 비교한다. 모든 경우에서 RS 기반 방법이 평균 오류를 30%~90%까지 감소시켰으며, 특히 PCA와 SVM에서는 잡음 감소가 모델 정확도 향상으로 직결되었다.

마지막으로 두 대표적인 활성 언러닝 알고리즘을 RS 관점에서 재해석한다. Descent‑to‑Delete는 기존에 강한 전역 강볼록성 가정을 사용했지만, 저자는 R에 대한 실제 Hessian 최소 고유값을 이용해 데이터 의존적 curvature bound를 도입한다. 이는 잡음 규모를 전역 강볼록성 상수 대신 실제 curvature에 맞춰 조정함으로써 크게 감소시킨다. Newton Update 역시 전역 2차 Lipschitz 상수를 사용했으나, RS 기반 분석에서는 R의 Hessian 스펙트럼을 직접 이용해 더 작은 잡음으로 동일한 인증을 얻는다. 두 알고리즘 모두 실험에서 기존 구현 대비 2배 이상 빠른 수렴과 낮은 일반화 손실을 보였다.

전체적으로 논문은 “언러닝은 DP와 달리 보존 데이터 R을 고정한다”는 근본적인 차이를 활용해, 데이터 의존적 유지 민감도(RS)를 도입함으로써 잡음 요구량을 크게 낮추고, 기존 알고리즘을 보다 효율적으로 개선할 수 있음을 이론·실험적으로 입증한다. 이는 실무에서 대규모 모델의 삭제 요청을 저비용으로 처리하고, 규제 준수와 모델 성능 사이의 트레이드오프를 완화하는 데 중요한 기여를 한다.