멀티모달 대비 학습을 위협하는 은밀하고 지속 가능한 백도어 공격 BadCLIP++

초록

BadCLIP++은 멀티모달 대비 학습 모델에 대한 백도어 공격을 설계하면서 두 가지 핵심 과제인 은밀성(stealthiness)과 지속성(persistence)을 동시에 해결한다. QR‑마이크로 트리거와 목표 정렬 서브셋 선택을 통해 0.3 % 수준의 낮은 오염율에서도 99.99 % 이상의 공격 성공률을 달성하고, 반경 축소·센터 정렬, 곡률 제어·탄성 가중치 통합(EWC) 기법을 이용해 파인튜닝·전이 학습에도 백도어가 사라지지 않도록 만든다.

상세 분석

BadCLIP++은 멀티모달 대비 학습(Contrastive Learning) 모델, 특히 CLIP 계열의 듀얼‑타워 구조를 목표로 하는 백도어 공격이다. 기존 연구가 직면한 두 가지 근본적인 문제—(1) 이미지와 텍스트 간의 교차‑모달 불일치가 트리거를 눈에 띄게 만들고, (2) 낮은 오염 비율에서 발생하는 그래디언트 희석으로 인해 파인튜닝 시 백도어가 빠르게 소멸한다—를 명시적으로 모델링하고 해결한다.

① 은밀성 강화

• Semantic‑Fusion QR 마이크로 트리거: QR 코드를 변형한 초소형 패턴을 이미지에 삽입하고, 해당 패턴을 텍스트와 의미적으로 융합한다. 트리거는 이미지의 의미‑중심 영역(예: 객체 경계 근처)에 배치돼 시각적 왜곡을 최소화하고, 텍스트는 원본 문장을 그대로 유지해 멀티모달 정렬 손실을 크게 증가시키지 않는다.
• Target‑Aligned Subset Selection (GMA): 전체 데이터 중 목표 클래스와 높은 평균 유사도를 보이는 샘플을 선별해 오염한다. 이는 낮은 오염율에서도 트리거 신호를 집약시켜 학습 초기에 충분한 손실 기여를 확보한다.

② 지속성 강화

• Radius Shrinkage & Centroid Alignment: 오염된 샘플들의 임베딩을 동일한 구(radius) 안으로 수축시키고, 클래스 중심(centroid)과 정렬한다. 이렇게 하면 파인튜닝 시 발생하는 대규모 데이터 증강 및 노이즈에 대해 트리거 임베딩이 “넓은 저곡률 영역”에 머무르게 된다.
• Curvature Control: 학습 단계에서 헤시안 트레이스(또는 근사)를 최소화하도록 정규화함으로써 파라미터가 평탄한 손실 지형에 머무르게 한다. 평탄한 영역은 작은 그래디언트 변화에도 모델이 크게 이동하지 않게 하여 백도어가 잊혀지는 것을 방지한다.
• Elastic Weight Consolidation (EWC): 기존 파라미터에 대한 Fisher 정보 행렬을 이용해 중요한 가중치를 고정한다. 이는 파인튜닝 시 중요한 파라미터가 크게 변하지 않게 하여 백도어가 유지되는 “탄성” 효과를 제공한다.

③ 이론적 기여

• 저자들은 신뢰 구역(trust region) 내에서 “클린 파인튜닝 그래디언트”와 “백도어 목표 그래디언트”가 **동향(co‑directional)**임을 증명한다. 즉, 두 그래디언트가 같은 방향을 가리키므로 파인튜닝이 진행돼도 백도어 손실이 증가하지 않는다.
• 이로부터 Attack Success Rate(ASR)의 비증가 상한을 도출해, 백도어 성공률이 파인튜닝 과정에서 감소하지 않음을 수학적으로 보장한다.

④ 실험적 검증

• 0.3 % 오염율에서 디지털 환경에서 99.99 % ASR, 11.4 %p(≈15 % 상대) 향상.
• 19가지 최신 방어(데이터 필터링, 강건 학습, 모델 기반 탐지, 파인튜닝 방어 등) 모두 적용 후 ASR ≥ 99.90 % 유지, 클린 정확도 하락 < 0.8 %.
• 물리적 공격(프린트‑스티커)에서도 65.03 % 성공률을 기록, 워터마크 제거 방어에도 강인함을 입증.
• 다섯 가지 멀티모달 아키텍처(CLP, ALBEF, BLIP 등)와 두 개의 실제 시나리오(이미지 검색, VQA)에서 전이 가능성을 확인, 평균 ASR > 99 % 달성.

전반적으로 BadCLIP++은 트리거 설계 → 샘플 선택 → 임베딩 정규화 → 파라미터 안정화라는 4단계 최적화를 통해 은밀성과 지속성을 동시에 달성한다. 이는 기존 백도어가 파인튜닝에 취약하거나 탐지에 쉽게 노출되는 문제를 근본적으로 해결한 최초의 접근으로 평가된다.