CLIP의 취약점을 해결하는 증강 기반 테스트 타임 방어 전략, ATAC

초록

CLIP은 제로샷 이미지-텍스트 매칭에서 뛰어난 성능을 보이지만, 적대적 공격에 매우 취약합니다. 기존의 테스트 타임 방어 방법들은 제한된 견고성을 보였습니다. 본 연구는 간단하지만 효과적인 전략인 ATAC(Augmentation-based Test-time Adversarial Correction)를 제안합니다. 이 방법은 CLIP의 임베딩 공간에서 직접 작동하여, 증강된 이미지 뷰들로부터 생성된 ‘드리프트 벡터’의 평균을 계산해 시맨틱 복구 방향을 추론하고, 이 방향으로 원본 임베딩을 교정합니다. 다양한 벤치마크에서 ATAC는 기존 최고 방법 대비 평균 약 50% 향상된 견고성을 달성하면서도 최소한의 계산 오버헤드만을 요구합니다.

상세 분석

ATAC(Augmentation-based Test-time Adversarial Correction)는 CLIP과 같은 비전-언어 모델(VLM)의 적대적 공격 취약점을 해결하기 위한 혁신적인 테스트 타임 방어 패러다임을 제시합니다. 이 방법의 핵심 기술적 통찰력과 메커니즘은 다음과 같습니다.

첫째, ATAC는 모델 재학습이나 복잡한 입력 최적화 없이, CLIP의 고정된 임베딩 공간에서 직접 시맨틱 보정을 수행합니다. 이는 기존의 프롬프트 조정이나 픽셀 수준의 카운터 어택과 차별화되는 접근법입니다. 공격받은 이미지의 시각적 임베딩(f_x)이 원래의 의미에서 벗어난 상태라고 가정할 때, ATAC는 이 임베딩을 ‘수정’하여 정상 궤도로 되돌립니다.

둘째, 교정에 필요한 핵심 정보인 ‘시맨틱 복구 방향’을 도출하는 방법이 독창적입니다. 입력 이미지에 n개의 표준 증강(수평 뒤집기, 회전 등)을 적용하여 여러 뷰(x_1,..., x_n)를 생성합니다. 각 증강 뷰의 임베딩(f_x_i)과 원본 임베딩 간의 차이인 ‘잠재 드리프트 벡터’ d_i = f_x - f_x_i를 계산합니다. 연구에 따르면, 적대적 입력에 대한 이러한 드리프트 벡터들은 일관된 방향성을 보이는 반면, 깨끗한 입력에 대한 드리프트는 무작위로 흩어집니다. 이 일관된 방향성이 바로 원래 의미로 돌아가야 할 방향을 암시합니다. 따라서 모든 드리프트 벡터의 평균(\bar{d})을 ‘복구 방향’으로 사용합니다.

셋째, 코사인 일관성 게이트(Cosine Consistency Gate) 메커니즘을 통해 불필요한 교정을 방지합니다. 식 τ = (1/n) * Σ cos(d_i, \bar{d})로 계산된 τ 값은 드리프트 벡터들이 평균 방향(\bar{d)과 얼마나 정렬되어 있는지를 측정합니다. 이 τ 값이 사전에 설정된 문턱값(τ*)보다 높을 때만(즉, 드리프트가 일관성이 있을 때만) 교정 f* = f_x + α\bar{d}을 수행합니다. 이는 깨끗한 샘플이 무작위 흩어짐으로 인해 낮은 τ 값을 가져 교정에서 제외되도록 보장하여, 깨끗한 정확도(clean accuracy)를 유지하는 데 기여합니다.

이러한 메커니즘은 CLIP의 임베딩 공간이 일반적인 이미지 증강에 대해 상대적으로 안정적이라는 특성과, 적대적 공격이 이러한 증강에 민감하다는 관찰에 기반합니다. ATAC는 단순히 증강 뷰의 예측을 평균화하는 테스트 타임 앙상블(TTE)이나, 계산 비용이 높은 카운터 어택(TTC), 또는 불안정한 가정에 기반한 프롬프트 조정(R-TPT) 등의 한계를 극복합니다. 결과적으로 ATAC는 최소한의 순전파(n+1회) 계산 오버헤드만으로도 뛰어난 견고성 향상을 가능하게 하는, 효율적이고 효과적인 새로운 방어 패러다임을 정립했습니다.