최적수송 기반 로컬 리프시츠 방어 모델 OTAD

초록

OTAD는 두 단계로 구성된 적대적 방어 체계이다. 첫 단계에서는 최적수송 이론에서 유도된 정규화 항을 이용해 딥넷을 학습해 데이터와 특징 사이의 이산 최적수송 지도 T를 얻는다. 두 번째 단계에서는 T의 내재된 정규성을 활용해 볼록 적분 문제(CIP)를 풀어 로컬 리프시츠 연속성을 보장하는 연속 지도 f를 구성한다. CIP는 2차 제약 프로그램(QCP)으로 직접 최적화하거나, QCP 해를 학습한 트랜스포머 기반 CIP‑net으로 근사한다. 이렇게 얻은 f는 높은 정확도를 유지하면서 입력 교란에 대해 이론적 리프시츠 상수를 갖는다. 실험 결과, ResNet·ViT 등 다양한 아키텍처에 적용했을 때 기존 적대적 훈련 및 라프시츠 네트워크보다 우수한 견고성을 보였다.

상세 분석

OTAD는 기존 적대적 훈련과 라프시츠 네트워크의 장점을 결합하려는 시도이다. 첫 번째 단계에서 저자들은 ResNet(또는 ViT) 구조에 최적수송 정규화 항을 추가한다. 최적수송 이론에 따르면, 절대 연속적인 원본 분포 μ와 목표 분포 ν 사이의 최적수송 지도 T는 볼록 함수 ϕ의 그래디언트 ∇ϕ 로 표현되며, ϕ가 l‑강하게 볼록하고 L‑스무스하면 ∇ϕ는 지역적으로 리프시츠 연속성을 가진다. 논문은 이 정규성을 손실 함수에 포함시켜 네트워크가 데이터‑특징 매핑을 T = ∇ϕ 형태로 학습하도록 유도한다. 여기서 중요한 점은 학습 과정 전체에 리프시츠 제약을 강제하지 않고, 최적수송 지도 자체가 자연스럽게 부드러운 구조를 갖는다는 점이다.

두 번째 단계에서는 학습된 이산 지도 T 를 연속화하는 볼록 적분 문제(CIP)를 정의한다. 구체적으로, 훈련 샘플 {(x_i, T(x_i))}에 대해 ∇g(x_i)=T(x_i) 를 만족하는 볼록하고 매끄러운 함수 g를 찾는 것이 목표이며, 이는 ∇g 가 연속적인 최적수송 지도와 동일한 역할을 하게 만든다. CIP는 제약이 2차 형태인 QCP(Quadratically Constrained Program)로 변환될 수 있는데, 최신 1차 최적화 기법을 적용하면 이론적으로 전역 최적해에 근접한 해를 얻을 수 있다. 그러나 QCP는 고차원 데이터에 대해 계산 비용이 prohibitive 하다. 이를 해결하기 위해 저자들은 QCP 해를 레이블로 사용해 트랜스포머 기반 CIP‑net을 학습한다. 트랜스포머는 잔차 연결과 동일 차원 피처를 유지하는 구조 덕분에 최적수송 맥락에 잘 맞으며, 논문은 해당 블록의 리프시츠 상수를 상한으로 분석해 이론적 견고성을 뒷받침한다.

OTAD의 핵심 강점은 (1) 학습 단계에서 강제적인 리프시츠 제약을 피하면서도 최적수송 지도 자체가 제공하는 부드러운 구조를 활용한다는 점, (2) 추론 시에 CIP‑net을 통해 실시간으로 로컬 리프시츠 연속성을 보장한다는 점이다. 또한, 이웃 탐색을 단순 ℓ₂ 거리 대신 학습 가능한 메트릭으로 확장함으로써 고차원 매니폴드 상의 의미 있는 이웃을 찾을 수 있다. 이는 메트릭 학습과 결합해 메모리·연산 비용을 절감하면서도 대규모 데이터셋(예: ImageNet)에도 적용 가능하게 만든다.

실험에서는 CIFAR‑10, CIFAR‑100, SVHN, ImageNet 등 다양한 이미지 분류 벤치마크에서 기존 적대적 훈련(PGD‑AT, TRADES) 및 라프시츠 네트워크(1‑Lipschitz, GroupSort)와 비교했다. 평가 지표는 표준 공격(PGD, CW, AutoAttack)과 인증된 견고성(리프시츠 상수 기반)이다. OTAD는 대부분의 경우 정확도와 인증된 견고성 사이의 트레이드오프를 최소화했으며, 특히 트랜스포머 기반 ViT‑OTAD가 대규모 데이터에서 뛰어난 성능을 보였다. 또한, 메트릭 학습을 적용한 변형은 이웃 선택 품질을 높여 공격 저항성을 추가로 향상시켰다.

한계점으로는 (a) CIP‑net 학습을 위한 추가적인 최적화 단계가 필요하고, (b) 최적수송 지도 T 가 학습 데이터에 과적합될 위험이 존재한다는 점, (c) 이론적 리프시츠 상수는 최악의 경우에 대한 상한일 뿐 실제 방어 강도와 완전히 일치하지 않을 수 있다는 점을 들 수 있다. 향후 연구에서는 T 의 일반화 능력을 강화하기 위한 정규화 기법, 그리고 비유클리드 공간에서의 최적수송 이론 확장을 통해 더욱 강력한 방어 메커니즘을 설계할 여지가 있다.