신경망 강건성 검증을 위한 대수적 거리 차수

초록

본 논문은 신경망의 결정 경계를 대수적 다양체로 보고, 유클리드 거리 차수(ED degree)를 이용해 강건성 검증의 본질적 복잡도를 정의한다. ED 차수와 이를 변화시키는 입력·파라미터 판별식(ED discriminant, parameter discriminant)을 제시하고, 다양한 네트워크 구조에 대한 폐쇄형 식과 무한 폭 넓이 한계에서 실수 임계점의 기대값을 도출한다. 마지막으로 수치 동형 연속법을 활용한 정확한 인증 알고리즘을 제공한다.

상세 분석

논문은 먼저 강건성 검증을 “입력 ξ와 결정 경계 사이의 최소 유클리드 거리 γ를 구하는 문제”로 재정의한다. 여기서 결정 경계는 두 클래스 c와 c′에 대한 로그 차이 fθ,c(x)−fθ,c′(x)=0 로 정의되는 초평면이며, 다항식 형태일 경우 대수적 다양체 Vθ,c,c′ 로 본다. 이때 거리 최소화의 KKT 조건은 다항식 시스템으로 전환되며, 복소수 해를 모두 찾는 것이 문제의 복잡도 상한을 제공한다. 저자는 이 복소수 해의 개수를 “Euclidean Distance degree(ED degree)”라 정의하고, 이는 입력에 대해 일반적인 경우 일정하게 유지되는 불변량임을 강조한다.

ED degree를 실제 네트워크 구조에 적용하기 위해 두 가지 판별식을 도입한다. 첫 번째인 ED discriminant는 입력 u가 특정 초평면에 놓일 때 실수 임계점의 수가 변하는 loci를 나타내며, 이를 통해 특정 테스트 샘플이 인증하기 쉬운지 어려운지를 판단한다. 두 번째인 parameter discriminant는 네트워크 파라미터 θ가 변하면서 ED degree 자체가 감소하는 경우를 포착한다. 특히, 파라미터가 특수한 대수적 관계를 만족하면 결정 경계의 차수가 낮아져 검증이 쉬워진다.

구조별 ED degree 계산에서는 넓은(“wide”) 네트워크와 bottleneck 구조에 대해 폐쇄형 식을 제시한다. 예를 들어, L층의 완전 연결 다항식 네트워크에서 각 층의 차수가 d라면, 일반 파라미터 하에서 ED degree는 (d·…·d)·(n+1) 형태로 나타난다(정확한 식은 논문 Prop. 3.6, 3.8 참조). 또한, 무한 폭 한계에서는 Kac‑Rice 공식에 기반해 실수 임계점의 기대 개수를 구하고, 이는 Gaussian Process 해석과 일치함을 보인다(Cor. 3.11).

알고리즘적 측면에서는 수치 동형 연속법(homotopy continuation)을 이용해 KKT 시스템의 모든 복소수 해를 추적한다. 시작 시스템을 단순 다항식으로 설정하고, 경로 추적을 통해 최종 시스템의 해를 얻는다. 이 과정에서 복소수 해 중 실수이며 제약을 만족하는 최소 해만을 선택해 γ를 계산한다. 저자는 이 방법이 이론적으로 완전성을 보장한다는 점을 강조한다(모든 고립 해를 찾음).

마지막으로 구현을 GitHub에 공개하고, 실험을 통해 다양한 아키텍처에서 ED degree와 실제 인증 시간 사이의 상관관계를 보여준다. 특히, 파라미터가 discriminant 위에 있을 때 인증 시간이 급격히 감소함을 확인한다. 전체적으로 논문은 강건성 검증을 대수적 복잡도 관점에서 체계화하고, 기존의 휴리스틱 기반 방법과는 달리 구조적·이론적 근거를 제공한다는 점에서 의미가 크다.