CLIP 모델의 데이터·학습 없이 선택적 도메인 무지 학습

초록

본 논문은 사전 학습된 멀티모달 모델 CLIP에서 특정 객체 클래스를 도메인별·전체적으로 제거하는 방법을 제안한다. 텍스트 프롬프트와 CLIP 내부에서 생성한 시각적 프로토타입을 결합해 ‘증강 널스페이스’를 구성하고, SVD 기반 닫힌 형태의 투영 연산으로 해당 클래스 정보를 제거한다. 추가 데이터나 재학습 없이 전역, 도메인‑특정, 완전 도메인‑특정 세 가지 ‘잊기’ 시나리오를 지원하며, 실험을 통해 정확도 유지와 높은 MIA 점수를 입증한다.

상세 분석

이 연구는 CLIP의 이미지와 텍스트를 공동 임베딩하는 특성을 활용해, 기존의 재학습·데이터 의존적 ‘머신 언러닝’ 접근법이 갖는 비용·프라이버시 문제를 근본적으로 회피한다. 핵심 아이디어는 두 단계로 이루어진다. 첫째, 대상 클래스 이름을 기반으로 텍스트 임베딩 t_c를 얻고, 동일 클래스와 최대 코사인 유사도를 갖는 ‘canonical image’ x_c를 gradient‑based 최적화로 합성한다. 이를 통해 시각적 임베딩 h_c를 추출한다. 둘째, t_c와 h_c(또는 도메인‑특정 h_{d,c}, 잔여 r_{d,c})를 행렬 M에 쌓아 전치 후 SVD를 수행한다. SVD에서 얻은 왼쪽 특이벡터 U는 대상 클래스가 차지하는 서브스페이스를 정의하고, I − UUᵀ 형태의 투영 연산 P를 통해 해당 서브스페이스를 ‘nullspace’로 만든다. 최종적으로 CLIP의 최종 선형 프로젝션 W에 P를 곱해 W′ = W P를 얻음으로써, 모델 내부에서 대상 클래스와 연관된 모든 차원을 억제한다.

세 가지 시나리오가 차별화된다. (1) 전역 언러닝에서는 모든 도메인에서 t_c와 h_c를 사용해 M_global을 만든다. (2) 도메인‑특정 언러닝은 지정된 도메인 d 에 대해 도메인‑조건화된 시각적 임베딩 h_{d,c}만을 사용한다. (3) 완전 도메인‑특정 언러닝은 추가로 잔여 임베딩 r_{d,c}를 포함해, 해당 도메인에서 남아 있을 수 있는 미세한 특징까지 제거한다.

수학적으로는 닫힌 형태 해법이므로, 역전파나 추가 파라미터 튜닝이 필요 없으며, SVD 연산만으로도 고차원(512) 공간에서 효율적으로 서브스페이스를 차단한다. 이는 기존 방법이 요구하던 대규모 Hessian 계산이나 데이터 샤딩에 비해 메모리·시간 복잡도가 크게 낮다.

실험에서는 PACS와 DomainNet 두 대규모 멀티도메인 벤치마크를 사용해, ‘forget set’ 클래스 정확도는 크게 감소하면서 ‘retain set’ 클래스 정확도는 거의 유지되는 것을 확인했다. 특히 Membership Inference Attack(MIA) 점수가 높은데, 이는 모델이 지정된 클래스를 효과적으로 잊었음에도 다른 클래스에 대한 일반화 능력이 보존됨을 의미한다. 베이스라인으로 제시된 ZS‑CLIP, CLIPErase, Null‑Space Calibration 등과 비교했을 때, 제안 방법은 전반적인 정확도 손실이 적고, 도메인‑특정 제어 능력이 뛰어나다.

한계점으로는 (1) canonical image 합성 과정이 gradient 최적화에 의존해 초기화와 최적화 파라미터에 민감할 수 있다. (2) 매우 복잡한 도메인(예: 3D 렌더링)에서는 시각적 프로토타입이 충분히 대표성을 갖지 못할 가능성이 있다. (3) 현재는 텍스트 프롬프트가 단순 “a photo of …” 형태에 국한돼 있어, 다중 의미를 가진 클래스에 대한 정밀 제어가 어려울 수 있다. 향후 연구에서는 합성 이미지 품질 향상, 다중 프롬프트 조합, 그리고 비선형 투영(예: 커널 SVD) 등을 탐색할 여지가 있다.