참조 가이드 머신 언러닝

초록

본 논문은 보유 데이터와 완전히 독립된 보조 데이터셋을 활용해, 삭제 요청된 샘플에 대한 모델 출력을 “보지 못한 데이터”와 동일하게 만드는 새로운 언러닝 프레임워크 ReGUn을 제안한다. 클래스별 히스토그램을 맞춘 후 보조 데이터의 평균 예측을 소프트 타깃으로 삼아 KL‑다이버전스를 최소화함으로써, 기존 손실 최대화 기반 방법보다 더 안정적이고 일반화 손실이 적은 언러닝을 달성한다. 실험 결과는 CIFAR‑10/100 및 Tiny‑ImageNet에서 ResNet‑18과 Swin‑T 모델을 대상으로, 다양한 삭제 비율에 걸쳐 재학습 기준에 가장 근접한 성능‑유틸리티 트레이드오프를 보여준다.

상세 분석

ReGUn은 기존 근사 언러닝 방법이 “잊혀야 할 데이터에 대해 손실을 크게 만든다”는 직관에 의존하는 한계를 정확히 짚어낸다. 손실 최대화는 그라디언트가 과도하게 발산하거나, 의도와 무관한 영역까지 모델 파라미터를 변형시켜 일반화 성능을 저하시킬 위험이 있다. 저자들은 이를 해결하기 위해 “보지 못한 데이터와 동일한 행동”이라는 분포적 동일성을 목표로 설정한다. 구체적으로, 학습 단계에서 접근이 불가능한 이상적인 레퍼런스 모델 fθᵣ(보류 데이터만으로 재학습한 모델)을 대신해 초기 모델 fθ₀을 사용한다. 이때, 삭제 대상 배치 B_f의 클래스 비율을 보조 데이터 D_h에서 동일하게 샘플링하고, 선택된 m개의 샘플에 대해 소프트맥스 확률을 평균해 q(B_f)라는 클래스‑조건부 레퍼런스 분포를 만든다.

그 후, 삭제 배치에 대해 KL(q‖pθ) 손실을 최소화하고, 보존 배치에 대해서는 기존 교차 엔트로피 CE(pθ, y) 손실을 동시에 최적화한다. λ_f와 λ_r으로 두 손실의 비중을 조절함으로써, “잊혀야 할” 신호와 “보존해야 할” 신호 사이의 균형을 정밀하게 제어한다. 이 접근법은 사실상 소프트 타깃(distillation)과 동일한 형태이지만, 타깃이 무작위가 아닌 클래스‑조건부 레퍼런스라는 점에서 차별화된다.

실험 설계는 세 가지 삭제 비율(1 %, 10 %, 50 %)과 두 종류의 모델(CNN 기반 ResNet‑18, Vision Transformer 기반 Swin‑T)을 사용해 포괄적으로 검증한다. 평가 지표는 유지 정확도(Retrain‑Acc), 삭제 정확도(Forget‑Acc), 전체 테스트 정확도(Test‑Acc)와 함께, 회원추론 공격(RMIA AUC)으로 잊혀짐 정도를 정량화한다. 결과는 대부분의 경우 ReGUn이 “GAP‑RFTP Avg”(재학습 기준과의 평균 격차)에서 최우수 혹은 2위에 오르며, 특히 높은 삭제 비율에서 RMIA 점수를 재학습 수준으로 낮추는 데 성공한다. 이는 레퍼런스 기반 디스틸레이션이 불필요한 손실 상승 없이도 효과적인 정보 제거를 가능하게 함을 시사한다.

또한, Transformer 기반 모델에서 기존 고급 방법들(SALUN, AMUN)보다도 경쟁력을 보이며, 현재 언러닝 연구가 CNN에 편중된 점을 지적한다. 이는 어텐션 메커니즘이 가진 복잡한 표현 공간이 기존 근사 기법에 더 큰 도전을 제시한다는 사실과 맞물려, 레퍼런스 가이드 접근법이 이러한 구조에도 적용 가능함을 보여준다.

한계점으로는 레퍼런스 모델을 초기 모델 fθ₀에 고정함으로써, 완전한 “보지 못한” 특성을 완벽히 재현하지 못한다는 점을 들 수 있다. 저자들은 이를 “reference drift” 방지 차원에서 선택했으며, 실제 적용 시 레퍼런스 데이터 규모와 클래스 매칭 전략이 성능에 미치는 영향을 추가 연구할 필요가 있다.

전반적으로 ReGUn은 손실 기반 최적화의 불안정성을 배제하고, 데이터 분포 수준에서의 동일성을 목표로 함으로써, 실용적인 언러닝 시스템 설계에 새로운 패러다임을 제시한다.