워터스틴 기반 견고성 인증과 분포적 공격: 딥러닝의 새로운 방어와 평가

초록

본 논문은 Wasserstein 분포형 강건 최적화(WDRO)를 활용해 딥 뉴럴 네트워크의 견고성을 이론적으로 증명하고, 실제 공격을 위한 Wasserstein Distributional Attack(WDA, WDA++)을 제안한다. ReLU 네트워크의 활성화 셀 구조를 이용해 정확한 Lipschitz 상수를 구하고, 이를 통해 WDRO 상한을 엄격히 제한한다. 또한 GELU·SiLU와 같은 부드러운 활성화를 갖는 최신 아키텍처(Transformer 포함)에도 동일한 분석을 확장한다. 실험 결과, 제안된 인증은 기존 방법보다 더 타이트한 상한을 제공하며, WDA 계열 공격은 기존 점별 공격보다 더 강력한 적대적 분포를 생성한다.

상세 분석

이 논문은 두 가지 핵심 기여를 제시한다. 첫 번째는 WDRO 문제에 대한 정확한 상한을 제공하는 ‘exact Lipschitz certificate’ 개념이다. 기존 연구는 전역 Lipschitz 상수를 근사하거나 강한 이중성에 의존해 느슨한 상한을 얻었지만, 저자는 ReLU 네트워크가 갖는 조각별 선형 구조를 활용해 모든 가능한 활성화 마스크 D에 대해 Jacobian J_D를 명시적으로 계산한다. 이를 통해 L = 2^{1/r}·max_{D∈𝔇_X}‖J_D‖{r→s} 를 정확히 구하고, 이 값이 WDRO 상한 E{P_N}