왜 일부 모델은 잊히지 않을까 선형 안정성 관점

초록

본 논문은 머신 언러닝에서 특정 샘플을 삭제하는 “언러닝”을 선형 안정성 이론으로 분석한다. 핵심 변수인 데이터 코히어런스(샘플 간 손실면의 정렬 정도)를 retain, forget, 그리고 두 집합 간 상호작용으로 분해하고, 이를 기반으로 수렴·발산 경계(안정성 임계값)를 엄밀히 도출한다. 또한 두 층 ReLU CNN을 신호‑노이즈 모델에 적용해 SNR이 낮을수록 코히어런스가 약해져 언러닝이 쉬워지고, 높은 SNR에서는 코히어런스가 강해 모델이 언러닝에 저항한다는 이론적·실험적 결과를 제시한다.

상세 분석

논문은 기존 언러닝 연구가 경험적 방법에 머물렀던 점을 지적하고, 최적점 근처에서의 최적화 동역학을 선형화하여 “asymptotic linear stability”라는 프레임을 도입한다. 이때 파라미터 변동 δ는 Hessian H와의 곱으로 근사되며, SGD 업데이트는 w_{t+1}= (I‑ηH_t) w_t 형태가 된다. 언러닝 상황에서는 retain 집합에 대해 손실을 감소시키고, forget 집합에 대해 손실을 증가시키는 업데이트 규칙 w_{k+1}= w_k‑η