자연 손상 활용 물리적 적대적 예시 생성

초록

**
AdvWT는 야외 교통 표지판의 자연스러운 마모·손상을 모델링해, 손상 스타일 코드를 교묘히 변조함으로써 시각적으로 자연스러우면서도 딥러닝 기반 인식 시스템을 오도하는 물리적 적대적 예시를 만든다. GAN 기반 이미지‑투‑이미지 변환으로 손상 도메인을 학습하고, 잠재 스타일 공간에 적대적 교란을 삽입해 디지털·실제 환경 모두에서 높은 공격 성공률과 강인성을 달성한다.

**

상세 분석

**
본 논문은 물리적 세계에서 발생하는 ‘마모와 손상(wear and tear)’ 현상을 적대적 공격 벡터로 전환한다는 새로운 패러다임을 제시한다. 기존 물리적 적대적 공격은 레이저, 그림자, 스티커 등 인위적인 변형에 의존했으며, 이러한 변형은 일시적이거나 눈에 띄는 단점이 있었다. AdvWT는 두 단계로 구성된다. 첫 번째 단계에서는 StarGAN‑v2와 같은 최신 GAN 기반 이미지‑투‑이미지 번역 모델을 활용해 깨끗한 표지판과 실제 손상된 표지판 사이의 도메인 차이를 학습한다. 스타일 인코더 E와 매핑 네트워크 M을 통해 ‘손상 스타일 코드(s_d)’를 추출하고, AdaIN을 이용해 생성기 G가 원본 이미지에 손상 특성을 주입하도록 설계한다. 손상 스타일은 색 바램, 균열, 부식, 페인트 벗겨짐 등 다양한 물리적 현상을 포괄한다. 손상 이미지의 사실성을 확보하기 위해 스타일 재구성 손실(L_sty), 다양성 손실(L_ds), 순환 일관성 손실(L_cyc), 적대적 손실(L_adv), 도메인 분리 손실(L_tri) 등 일곱 개의 손실을 가중합한 복합 목표 함수를 최적화한다.

두 번째 단계에서는 손상 스타일 코드에 미세한 적대적 교란(δ) 를 추가한다. 이 교란은 손상 이미지가 인간에게는 자연스럽게 보이면서도, 목표 분류 모델 F에 대해 손상된 이미지 x_adv = G(x, s_d + δ) 가 오분류를 일으키도록 설계된다. 교란은 백‑백(white‑box) 상황에서는 모델의 그래디언트를 직접 활용해 PGD‑유사 최적화를 수행하고, 블랙‑박스 상황에서는 서베이 모델을 이용한 전이 공격이나 무작위 탐색을 통해 δ를 찾는다.

실험은 GTSRB와 BTSD 두 개의 교통 표지판 데이터셋을 사용했으며, 디지털 환경에서는 85 % 이상의 성공률, 물리적 환경(프린트‑후‑촬영)에서는 71 % 이상의 성공률을 기록한다. 또한, 기존 물리적 공격(AdvLaser, AdvShadow, AdvCam 등) 대비 손상 이미지의 시각적 자연스러움(NPS) 점수가 크게 향상되었으며, 다양한 조명·거리·각도 변동에 대한 강인성도 입증되었다. 흥미롭게도, AdvWT로 생성된 손상 이미지를 데이터 증강에 활용하면, 손상된 실제 표지판에 대한 인식 정확도가 4 % 이상 상승하는 효과가 관찰되었다. 이는 모델이 자연스러운 손상 패턴을 학습함으로써 일반화 능력이 향상된 결과로 해석된다.

핵심 기여는 (1) 물리적 마모·손상을 적대적 공격 매개체로 활용한 최초 시도, (2) 손상 스타일을 잠재 공간에서 직접 조작하는 새로운 공격 메커니즘, (3) 손상 시뮬레이션을 위한 고품질 GAN 기반 프레임워크, (4) 디지털·물리적 양쪽에서 검증된 높은 성공률과 강인성, (5) 손상 데이터 증강을 통한 방어 측면의 긍정적 효과이다. 이 연구는 물리적 세계에서 지속적이고 은밀한 위협을 제시함과 동시에, 자연 손상에 대한 인식 강화를 위한 새로운 방어 전략의 필요성을 강조한다.

**