지연 중독 공격 헤시안 특이점으로 모델 취약성 강화

초록

본 논문은 모델이 학습·검증 단계에서는 정상적으로 동작하지만, 배포 후 작은 입력 변동에 크게 취약해지는 ‘지연 중독(Deferred Poisoning)’ 공격을 제안한다. 이를 위해 손실값은 정상 모델과 동일하게 유지하면서 해시안(Hessian)의 국소 곡률을 인위적으로 크게 만들어 특이점(singular) 상태로 만든다. 새로운 정규화 항인 Hessian Singularization term을 도입해 공격 비용을 낮추고, 다양한 이미지 분류 실험을 통해 기존 중독 공격 대비 은밀성·전이성·취약성에서 우수함을 입증한다.

상세 분석

이 연구는 기존 데이터 중독 공격이 학습·검증 정확도 차이를 통해 쉽게 탐지된다는 한계를 지적하고, ‘지연 중독’이라는 새로운 위협 모델을 정의한다. 핵심 아이디어는 두 가지 목표를 동시에 만족시키는 것이다. 첫째, 오염된 데이터셋으로 학습한 모델이 깨끗한 검증 데이터에 대해 정상적인 정확도를 유지하도록 손실 함수값을 정상 모델과 거의 동일하게 만든다. 둘째, 각 학습 샘플 주변의 손실 곡률을 크게 만들어 작은 입력 교란에도 손실이 급격히 증가하도록 한다. 곡률 증가는 헤시안 행렬의 특이값 분포, 특히 최대 특이값 σ_max 를 크게 만드는 것으로 해석된다. 논문은 σ_max 를 직접 최적화하기 어려운 점을 인식하고, 트레이스 형태인 tr(HᵀH) 를 하한으로 사용해 정규화 항 Q(fθ( x̂ ),y)=tr(HᵀH) 를 정의한다. 이 항은 헤시안의 Frobenius 노름 ‖H‖_F²와 동일하므로, 헤시안의 크기를 간접적으로 확대한다.

최적화는 두 단계 교대로 진행된다. ① 모델 파라미터 θ 를 업데이트하면서 깨끗한 데이터와 오염된 데이터 모두에 대한 교차 엔트로피 손실을 최소화한다. ② 고정된 θ 에 대해 오염된 입력 x̂ 에 대한 손실 L과 정규화 항 Q의 차이를 최소화하면서 제한된 L∞ 노름(ε) 안에서 교란 δ 를 업데이트한다. 이 과정은 알고리즘 1에 명시된 바와 같이 미니배치 기반 SGD와 역전파를 이용해 효율적으로 수행된다.

헤시안 직접 계산은 O(p²) 비용이 소요돼 실용성이 떨어지므로, 저자는 Hessian‑Vector Product(HVP)를 활용한 근사 방법을 제안한다. 임의의 단위벡터 v 에 대해 ‖Hv‖² ≤ ‖H‖_F² 를 이용해 tr(HᵀH) 대신 ‖Hv‖² 를 최대화하도록 변형함으로써 계산 시간을 8초에서 0.008초 수준으로 대폭 감소시켰다.

이론적 분석에서는 손실의 2차 테일러 전개를 통해 σ_min 과 σ_max 의 차이가 클수록 작은 교란 h 에 대해 손실 변동 폭이 커짐을 보였다(식 4). 따라서 σ_max 를 인위적으로 확대하면 공격자는 작은 노이즈나 적대적 교란만으로도 모델을 크게 오작동시킬 수 있다.

실험에서는 CIFAR‑10, SVHN 등 표준 이미지 분류 데이터와 ResNet, VGG 등 다양한 아키텍처에 대해 정상 모델과 비교하였다. 정확도는 거의 동일했으나, FGSM·PGD·CW 등 적대적 공격에 대한 성공률은 10‑30배 이상 상승했다. 특히 자연 노이즈(가우시안)에도 손실이 급격히 증가함을 Fig. 4로 시각화했다. 또한 기존 중독 방법(EM, REM) 대비 동일 ε 내에서 더 낮은 공격 비용으로 높은 전이성을 보였으며, 데이터 증강·부분 중독 비율 감소와 같은 방어 전략에도 어느 정도 견디는 모습을 확인했다.

전체적으로 이 논문은 “손실값은 정상, 곡률은 비정상”이라는 새로운 공격 패러다임을 제시하고, 헤시안 특이점화라는 수학적 도구를 실용적인 정규화 항으로 변환함으로써 기존 방어 메커니즘을 회피하는 강력하고 은밀한 중독 공격을 구현한다.