기계가이드 언러닝 목표 특징 분리

초록

본 논문은 사전학습된 모델이 클래스 간에 공유하는 연관 특징과 고유 특징이 얽혀 있어 기존 언러닝 방법이 과도하거나 부족한 잊힘을 초래한다는 점을 지적한다. 이를 해결하기 위해 다중모달 대형 언어 모델(MLLM)을 활용해 목표 샘플에 대한 “교란 라벨”을 생성하고, 양·음의 특성 노이즈 쌍을 이용해 목표 개념의 고유 특징만 선택적으로 억제·재배치한다. 전이 행렬을 통해 개념 간 유사성을 경량화하고, 실험적으로 다양한 데이터셋과 시나리오에서 기존 최첨단 방법보다 목표 데이터 제거는 완전하면서도 유지 데이터 성능 저하를 최소화함을 입증한다.

상세 분석

MeGU는 기존 머신 언러닝이 직면한 근본적인 트레이드오프—목표 데이터의 영향 제거와 전체 모델 일반화 유지—를 두 단계의 근본적인 원인 분석을 통해 해결한다. 첫 번째로, 저자들은 사전학습 과정에서 모델이 “특징 패턴”과 이를 매핑하는 “의미 개념”이라는 두 층위의 인지를 형성한다는 가설을 제시한다. 동일한 의미 개념 사이에서는 연관 특징(associated features)이 공유되지만, 각 클래스마다 고유 특징(unique features)이 존재한다. 이러한 얽힘은 목표 클래스를 언러닝할 때, 연관 특징까지 함께 손실되면 유지 데이터 성능이 급격히 떨어지고, 고유 특징만 제거하면 목표 데이터의 잔존 영향이 남는 과소 언러닝을 초래한다는 것을 설명한다.

두 번째로 MeGU는 다중모달 대형 언어 모델(MLLM)의 제로샷 인-컨텍스트 학습 능력을 활용한다. MLLM에 소량의 샘플을 프롬프트로 제공하면 클래스 간 의미적 유사도를 추정하고, 이를 전이 행렬(T) 형태로 저장한다. 전이 행렬은 목표 클래스와 가장 유사한 교란 라벨(perturbing label)을 빠르게 선택하도록 돕는다. 예를 들어, “공룡” 클래스를 잊어야 할 경우 MLLM은 “늑대”와 같은 시각·텍스트적으로 유사하지만 의미적으로는 다른 라벨을 제안한다.

핵심 기술은 ‘Fragment‑Align’ 전략이다. 여기서는 두 종류의 특성 노이즈를 동시에 학습한다. ① 양의 노이즈(positive noise)는 목표 샘플을 교란 라벨의 의미 공간으로 끌어당겨, 연관 특징을 유지하면서 새로운 의미에 재정렬한다. ② 음의 노이즈(negative noise)는 목표 샘플의 고유 특징을 억제한다. 두 노이즈는 사전학습된 모델의 파라미터를 고정한 채, 입력에 직접 더해지는 형태이며, 손실 함수는 기존 라벨에 대한 교차 엔트로피와 교란 라벨에 대한 정규화된 엔트로피를 동시에 최소화한다. 이렇게 하면 목표 데이터의 고유 특징은 점진적으로 사라지고, 연관 특징은 다른 클래스와 공유된 형태로 보존된다.

이 설계는 기존의 오류‑극대화 노이즈(UNSIR)와 달리, 특징 얽힘을 고려해 선택적으로 방해하고 재정렬한다는 점에서 차별화된다. 또한 전이 행렬을 이용해 교란 라벨을 사전에 결정함으로써 매 반복마다 MLLM 호출 비용을 크게 절감한다.

실험에서는 세 가지 언러닝 시나리오(단일 클래스 삭제, 다중 클래스 삭제, 라벨 노이즈 정정)와 CIFAR‑10, ImageNet‑Subset, CelebA 등 다양한 데이터셋을 사용하였다. 평가 지표는 목표 데이터 제거 정도(Recall@K), 유지 데이터 정확도(Acc), 그리고 정보 유출 위험을 측정하는 Membership Inference Attack 성공률이다. MeGU는 모든 지표에서 기존 SOTA(예: SISA, Golatkar, UNSIR)보다 우수했으며, 특히 유지 데이터 정확도 감소가 1~2% 수준에 머물렀다.

이 논문은 모델이 학습한 내부 의미 구조를 외부 언어 모델로 탐색하고, 그 정보를 기반으로 정교한 노이즈 삽입을 수행함으로써 언러닝의 근본적인 한계를 극복한다는 점에서 학계와 산업 현장 모두에 큰 시사점을 제공한다.