불확실성 기반 정량화 신경망의 직교 엔트로피 삭제

초록

본 논문은 양자화된 신경망(QNN)에서 GDPR 등 개인정보 보호 규정에 따른 ‘잊혀짐’ 요구를 충족시키기 위해, 기존의 라벨 변조 방식이 초래하는 편향을 없애고, 예측 불확실성을 최대화하는 엔트로피 기반 목표와, 보존 데이터와의 그래디언트 충돌을 방지하는 직교 투영 기법을 결합한 OEU(Orthogonal Entropy Unlearning) 프레임워크를 제안한다. 실험 결과, OEU는 잊혀진 데이터에 대한 정확도 감소와 보존 데이터에 대한 성능 유지 모두에서 기존 방법들을 크게 앞선다.

상세 분석

OEU는 두 가지 핵심 아이디어로 구성된다. 첫 번째는 “Entropy‑Guided Unlearning(EGU)”으로, 잊혀야 할 샘플에 대해 모델이 특정 클래스를 강제로 예측하도록 하는 기존의 ‘잘못된 라벨 학습’ 방식을 탈피한다. 대신, 손실 함수 L_forget = −E_{x∈D_f}