얼굴 재식별을 무너뜨리는 원 샷 적대 패치와 활성화 지도 해석

본 논문은 얼굴 및 보행자 재식별 시스템에 대한 적대 패치 공격을 한 차원 끌어올리는 새로운 프레임워크를 제시한다. 기존 연구는 목표 정체성마다 별도의 반복 최적화를 수행하거나, 물리적 적용을 위해 눈에 띄는 패치를 사용해 실용성이 떨어지는 문제가 있었다. 이를 해결하기 위해 저자들은 (1) 조건부 인코더‑디코더 네트워크를 이용해 소스 이미지와 목표 이미지의 다중 스케일 특징을 입력으로 받아, 단일 전방 연산만으로 목표‑조건부 적대 패치를 생성하는 방식을 도입하였다. 이 네트워크는 특징 추출(backbone, 예: ResNet‑50) → 특징 융합(채널 결합 후 1×1 컨볼루션) → 업샘플링 디코더(4개의 Up‑Block, 스킵 연결) → 최종 3×3 컨볼루션과 tanh 활성화로 패치 P를 출력한다. 패치를 이미지에 적용할 때는 무작위 위치와 변환(T)·마스크(M)를 사용해 I_adv = (1−M)⊙I_s + M⊙T(P) 형태로 블렌딩한다. 이 과정은 완전 미분 가능하므로 역전파를 통한 손실 최적화가 가능하다. 손실 함수는 두 부분으로 구성된다. (a) Pull term: 1−cos(z_adv, z_t) 로 패치가 목표 정체성의 임베딩에 가까워지도록 유도한다. (b) Push term: max(0, 1−cos(z_adv, z_t)) + τ −