신경망 Lipschitz 검증을 위한 훈련 기반 설계

본 논문은 신경망의 글로벌 Lipschitz 상수가 모델의 일반화와 적대적 견고성에 결정적인 영향을 미친다는 사실을 출발점으로 삼는다. 기존의 인증된 학습(certified training) 접근법은 먼저 네트워크를 학습한 뒤, SDP, MIP, branch‑and‑bound 등 복잡하고 계산 비용이 높은 방법을 사용해 Lipschitz 상수의 상한을 추정한다. 이러한 “트리비얼 상한”(각 층의 Lipschitz 상수 곱)은 네트워크 깊이가 증가함에 따라 지수적으로 커져 실제 상수와 큰 차이를 보이며, 결국 고비용 검증 절차가 필수적이다. 저자들은 이러한 전통적 패러다임을 뒤집어, **네트워크 자체를 트리비얼 상한이 타이트하도록 설계**하는 새로운 접근법을 제안한다. 핵심 아이디어는 학습 손실에 트리비얼 상한을 직접 페널티로 포함시켜, 최적화 과정에서 네트워크가 자연스럽게 상한을 최소화하도록 유도하는 것이다. 이렇게 하면 외부 검증 절차 없이도 상한이 실제 Lipschitz 상수와 거의 일치하게 된다. 트리비얼 상한이 과도하게 느슨해지는 원인으로는 세 가지 구조적 장애물을 식별한다. 첫 번째는 **죽은 뉴런(dead neurons)**이다. ReLU와 같은 활성함수는 특정 입력 구간에서 미분값이 0이 되며, 학습 데이터에 의해 해당 구간에 편향이 크게 들어가면 뉴런이 완전히 비활성화될 수 있다. 이 경우 해당 층의 Lipschitz 상수는 실제보다 크게 부풀어 오른다. 두 번째는 **편향(bias) 항**이다. 편향은 층별 선형 변환 뒤에 추가되는 이동으로, 트리비얼 상한을 계산할 때 최악의 경우를 가정하게 만들며, 특히 LASL(Linear‑Activation‑Shift‑Linear) 구조에서는 상한이 차원에 비례해 \(\Omega(d)\) 만큼 과대평가될 수 있다. 세 번째는 **조건이 나쁜 가중치 행렬**이다. 가중치 행렬의 최소 특이값이 작고 최대 특이값이 큰 경우, 트리비얼 상한은 실제 변화를 크게 과대평가한다. 각 장애물에 대한 구조적 완화책을 제시한다. 1. **폴리액티베이션(polyactivation)**: 단일 활성함수 대신 K개의 활성함수를 동시에 적용해 출력 차원을 K배 확장하고, 뒤이어 넓은 가중치 행렬로 축소한다. 폴리액티베이션의 Jacobian은 대각선에 각 활성함수의 미분값이 배치된 형태이며, 이를 “노름 포화(saturated)”하도록 설계하면 p‑노름에서 Jacobian의 노름이 정확히 1이 된다. 예를 들어 절대값 \(|x|\)는 1‑차 폴리액티베이션으로, CReLU는 2‑차 폴리액티베이션이며, (cos, sin) 쌍은 2‑차 폴리액티베이션으로 2‑노름을 포화한다. 이러한 구조는 죽은 뉴런이 발생할 여지를 최소화하면서도 표현력을 유지한다. 2. **편향 제거와 사인 레이어**: 편향이 트리비얼 상한을 크게 늘리는 메커니즘을 분석하고, 편향을 가중치에 흡수할 수 있는 **bias‑free sinusoidal layer**를 도입한다. 구체적으로 \(x \mapsto A\cos(Wx+b)+B\sin(Wx+b)\) 형태의 레이어에서 삼각함수 항등식 \(\cos(z+b)=\cos(z)\cos(b)-\sin(z)\sin(b)\), \(\sin(z+b)=\sin(z)\cos(b)+\cos(z)\sin(b)\) 를 이용해 \(b\)를 0으로 만들고, 결국 \(x \mapsto A\cos(Wx)+B\sin(Wx)\) 로 변환한다. 이렇게 하면 편향에 의한 최악의 경우 상한이 사라지고, 각 층의 Lipschitz 상수가 \(\|