E글로브 ε전역 검증을 위한 효율적인 상한 및 패턴 인식 분기 기법

초록

본 논문은 ReLU 신경망의 안전성을 검증하기 위해, 정확한 상한을 제공하는 보완성 제약 비선형 프로그램(NLP‑CC)과 기존의 하한 전파 기법을 결합한 하이브리드 branch‑and‑bound 프레임워크를 제안한다. warm‑start와 패턴‑정렬 강분기를 통해 각 서브문제의 해결 속도를 크게 향상시키며, ε‑전역 최적성 기준을 만족하는 경우 조기 종료가 가능하도록 설계하였다. 실험 결과, MNIST와 CIFAR‑10에서 기존 MIP 기반 검증 및 PGD 대비 상한이 현저히 타이트하고 전체 검증 시간이 크게 단축됨을 보였다.

상세 분석

E‑Globe는 검증 문제를 “하한‑상한” 쌍으로 다루는 전형적인 BaB 구조에 혁신적인 상한 생성기를 삽입한다. 기존의 완전 검증기들은 ReLU를 이진 변수로 인코딩해 MIP 형태로 풀지만, 변수 수가 폭발적으로 증가해 대규모 네트워크에 적용하기 어렵다. 반면, E‑Globe는 각 ReLU를 보완성 제약(p·q=0)으로 정확히 표현한 NLP‑CC 모델을 사용한다. 이 모델은 KKT 조건을 통해 ReLU의 활성/비활성 상태를 그대로 보존하므로, 어떤 feasible 해도 원 네트워크의 실제 출력값을 제공한다. 따라서 얻어진 상한 (\bar u)는 언제나 진정한 최적값 (f^*)의 상한이며, 해가 존재하면 즉시 유효한 공격 예시가 된다.

상한 계산 비용을 낮추기 위해 두 가지 기법을 도입한다. 첫째, “warm‑start” 전략으로 이전 서브문제에서 얻은 KKT 시스템을 저‑랭크 업데이트만으로 재사용한다. 브랜칭으로 인해 바뀌는 제약은 소수의 뉴런에 국한되므로, 전체 라그랑지안 행렬을 재구성할 필요 없이 효율적인 선형대수 연산으로 해결한다. 실험에서는 평균 10배 가량의 속도 향상을 기록한다. 둘째, “패턴‑정렬 강분기”는 현재 NLP‑CC 해가 제공하는 활성/비활성 패턴을 활용한다. 전통적인 스마트 브랜칭은 불안정 뉴런의 불확실성을 점수화하지만, 패턴 정렬은 각 후보 분할이 현재 패턴과 얼마나 일치하는지를 추가 점수로 반영한다. 이로써 불필요한 분할을 억제하고, 하한 전파(β‑CROWN)의 수렴을 가속한다. 특히, 불안정 뉴런이 많을수록 패턴 기반 스코어링의 효과가 두드러진다.

논문은 또한 NLP‑CC 상한이 “tight”가 되는 충분조건을 제시한다. 핵심은 모든 불안정 뉴런에 대해 보완성 제약이 실제 활성/비활성 상태와 일치하는 경우이며, 이때 상한은 실제 최적값과 일치한다. 이러한 조건을 이용해 ε‑전역 최적성 기준을 정의하고, 상한‑하한 차이가 ε 이하가 되면 조기 종료를 선언한다. 결과적으로, 검증 과정은 “안전”, “위험”, 혹은 “ε‑근사 최적” 세 가지 명확한 상태 중 하나로 수렴한다.

실험에서는 MNIST(2‑layer MLP)와 CIFAR‑10(ResNet‑18) 모델을 대상으로, 다양한 (\ell_\infty) 및 (\ell_2) 반경에서 비교한다. PGD 기반 상한은 종종 과소평가되어 “unknown” 상태가 많았지만, E‑Globe는 거의 모든 경우에서 상한을 크게 낮추어 하한과의 격차를 최소화했다. 또한, MIP 기반 완전 검증기에 비해 메모리 사용량이 현저히 낮고, GPU 배치 처리와 결합해 전체 실행 시간을 수십 배 단축했다. 이러한 결과는 E‑Globe가 대규모 실용 모델에 적용 가능한 스케일러블하면서도 높은 정확도의 검증 프레임워크임을 입증한다.