클립 파인튜닝을 위한 왜곡 방지 그라디언트 수술 DGS넷

초록

본 논문은 AI‑생성 이미지 탐지를 위해 CLIP 모델을 미세조정할 때 발생하는 파국적 망각을 완화하고, 사전 학습된 프라이어를 보존하면서 불필요한 특성을 억제하는 DGS‑Net(Distillation‑Guided Gradient Surgery Network)을 제안한다. 손실 그래디언트를 유해 방향과 유익 방향으로 분해하고, 텍스트 그래디언트에서 추정된 유해 방향에 대해 이미지 그래디언트를 직교 투영해 억제하며, 고정된 CLIP 이미지 인코더의 유익 방향을 정렬 신호로 활용한다. 50여 개의 생성 모델을 대상으로 한 실험에서 평균 6.6 % 이상의 정확도 향상을 달성하였다.

상세 분석

DGS‑Net은 크게 두 단계의 그래디언트 조작을 수행한다. 첫 번째는 “유해 방향”(positive gradient)과 “유익 방향”(negative gradient)을 정의하는데, 이는 손실 함수의 1차 미분값이 양수인지 음수인지에 따라 구분된다. 논문은 이미지‑텍스트 쌍을 이용해 각각의 손실에 대한 그래디언트를 계산하고, 텍스트 인코더(고정)에서 얻은 유해 방향 g⁺text을 기준으로 이미지 인코더의 학습 그래디언트 g_task를 직교 보완 공간에 투영한다. 즉, g_task ← g_task − Proj{g⁺_text}(g_task) 로서, 텍스트 기반 의미 정보가 이미지 특징에 불필요하게 침투하는 것을 차단한다. 두 번째 단계에서는 고정된 CLIP 이미지 인코더의 부정적 그래디언트 g⁻_img(즉, 손실을 감소시키는 방향)를 정렬 신호로 사용한다. 이를 통해 학습 중인 이미지 인코더가 사전 학습된 프라이어를 유지하도록 유도한다. 구현상 LoRA를 이미지 인코더에 삽입해 파라미터 효율성을 확보하고, BLIP을 이용해 자동 텍스트 설명을 생성함으로써 텍스트 손실을 보조적으로 활용한다.
핵심 아이디어는 “그래디언트 공간에서의 선택적 지식 증류”이다. 기존 지식 증류가 전체 특징을 정규화하는 데 반해, DGS‑Net은 손실 기울기의 부호 정보를 활용해 유해한 업데이트만을 억제하고, 유익한 업데이트는 강화한다. 이 접근법은 파라미터가 제한된 상황에서도 사전 학습된 멀티모달 정합성을 크게 손상시키지 않으며, 다양한 생성 모델(예: GAN, Diffusion, 텍스트‑투‑이미지)에서 일관된 검출 성능을 보인다. 실험에서는 t‑SNE 시각화를 통해 기존 LoRA 기반 파인튜닝이 표현 공간을 붕괴시키는 반면, DGS‑Net은 실/가짜 구분 경계를 명확히 유지하면서도 원래의 구조를 보존함을 확인했다. 또한 50개 이상의 생성 모델에 대한 교차‑도메인 테스트에서 평균 6.6 % 포인트의 정확도 상승을 기록했으며, 특히 새로운 확산 모델에 대한 일반화 능력이 크게 개선되었다.