모든 분류기의 숨겨진 취약점: 적대적 공격의 본질

본 논문 "Adversarial vulnerability for any classifier"는 심층 신경망을 포함한 모든 분류기가 적대적 예시에 본질적으로 취약할 수밖 없는 원인을 생성 모델 기반의 확률적 관점에서 규명합니다. 연구의 출발점은 현존하는 많은 생성 모델(예: GAN, VAE)이 표준 정규 분포를 따르는 잠재 벡터 z를 매끄러운 함수 g를 통해 이미지 x로 변환한다는 점입니다. 저자들은 이 생성 함수 g가 ω(t)를 계수로 하는 연속성(예: 립시츠 연속성)을 가진다고 가정합니다. 이러한 데이터 생성 과정 하에서, 이미지 공간 상의 '어떤' 분류 함수 f: X → {1,...,K}에 대해서도 '분포 내 강건성'(적대적 이미지도 g의 범위 내에 있어야 함)이 근본적으로 한계가 있음을 수학적으로 증명합니다. 주요 결과인 정리 1은 가우시안 등주부등식을 활용하여, 강건성 r_in(x)이 특정 값 η를 초과할 확률에 대한 상한을 제시합니다. 이 상한은 생성 모델의 매끄러움(ω^(-1)(η)), 클래스 수 K, 그리고 각 클래스의 확률 질량에 의존합니다. 해석하면, 잠재 공간 차원 d가 크고 생성 모델이 매끄러울수록(립시츠 상수 L이 클수록), 데이터의 전형적인 노름(√d 수준)에 비해 극도로 작은(η ∝ L 수준) 적대적 섭동으로도 분류기를 높은 확률로 속일 수 있음을 의미합니다. 이는 고차원 정규 분포의 기하학적 특성, 즉 대부분의 질량이 얇은 껍질 근처에 모여 있어 작은 이동으로도 결정 경계를 넘기 쉬운 현상에서 기인합니다. 정리 2는 '분포 내'와 '제약 없는' 강건성의 관계를 다룹니다. 어떤 분류기 f라도, 주어진 이미지 x에 대해 g(z) 중 가장 가까운 점의 레이블을 출력하는 최근접 이웃 분류기 f̃로 변환하면, 새 분류기의 제약 없는 강건성(r_unc)이 원래 분류기의 분포 내 강건성(r_in)의 절반 이상이 됨을 보입니다. 이는 두 가지 중요한 함의를 가집니다: 첫째, 분류기 무관적인 강건성 상한은 두 설정에서 본질적으로 같다. 둘째, 정확한 생성 모델을 활용하면 분류기의 실제 강건성을 높일 수 있는 방법론(생성 모델을 사용한 사후 처리)을 제시합니다. 논문은 또한 한 분류기에 대해 찾은 적대적 섭동이 다른 분류기에도 효과적으로 '전이'될 수 있음을 이론적으로 입증하며, 실험적으로 CIFAR-10과 SVHN 데이터셋에서 유도된 상한이 달성 가능한 최대 강건성에 대한 유익한 기준선이 됨을 보여줍니다. 궁극적으로 이 분석은 생성 모델 설계에 대한 깊은 통찰로 이어집니다. 만약 인간 시각 시스템이 작은 픽셀 변화에 강건하다면, 자연 이미지를 생성하는 함수 g는 매끄럽고 고차원적인 잠재 공간을 가질 수 없다는 결론을 내립니다. 따라서 실제 세계의 복잡한 분포를 모방하는 생성 모델은 저차원적이거나 비매끄러운 특성을 가져야 할 수 있으며, 이는 생성 모델 연구의 방향성에 시사하는 바가 큽니다.