학습된 교사로 인증 모델을 한 단계 끌어올리다

초록

본 논문은 적대적 훈련으로 얻은 경험적으로 강인한 교사 모델을 활용해, 신경망 검증을 통한 인증 강인성을 목표로 하는 학생 모델을 지식 증류 방식으로 학습한다. 특징 공간(distillation) 손실을 기존의 표현성(expressivity) 기반 인증 손실(CC‑IBP)과 결합해 CC‑Dist 알고리즘을 제안하고, 다양한 비전 벤치마크에서 표준 정확도와 인증 강인성 모두에서 기존 최첨단을 크게 능가함을 실험적으로 입증한다.

상세 분석

이 연구는 두 갈래의 강인성 접근법 사이의 격차를 메우려는 시도로 시작한다. 적대적 훈련은 특정 공격에 대해 높은 경험적 강인성을 제공하지만, ReLU 기반 네트워크에 대해 완전한 검증을 수행하려면 지수적인 시간 복잡도가 발생해 실용성이 떨어진다. 반면, 인증 훈련은 네트워크 이완(relaxation)으로부터 얻은 하한·상한을 손실에 직접 삽입해 검증 가능성을 확보하지만, 표준 정확도가 크게 저하되는 문제가 있다. 최근 연구들은 ‘표현성(expressivity)’이라는 개념을 도입해, 순수 적대적 손실과 순수 이완 기반 손실 사이를 연속적인 convex 조합으로 연결함으로써 두 목표 사이의 트레이드오프를 조정했다. 그러나 여전히 인증 모델은 경험적 모델에 비해 표준 성능이 뒤처진다.

본 논문은 이러한 한계를 극복하기 위해, 경험적으로 강인한 교사 모델(주로 PGD 기반 적대적 훈련으로 얻음)을 학생 모델에 전달하는 지식 증류를 도입한다. 기존의 로짓 기반 KL‑증류가 아니라, 특징 공간(feature‑space)에서 교사와 학생의 중간 표현을 정규화된 L2 거리로 맞추는 새로운 손실을 설계한다. 핵심은 두 종류의 최악‑사례 경계(하한·상한)를 각각 교사 특징과 결합해, α∈