분기한계 기반 신경망 검증을 위한 효율적 절단면 생성

초록

본 논문은 신경망 검증 과정에서 발생하는 분기-한계(BaB) 트리를 활용해, 검증이 완료된 서브문제로부터 논리적 관계를 추출하고 이를 전역 절단면(cut)으로 전환한다. 추출된 절단면은 영향 점수를 기반으로 강화되며, 다중 트리 탐색 기법을 통해 추가 절단면을 사전 탐색한다. 제안 기법 BICCOS는 기존 MIP 기반 절단면보다 확장성이 뛰어나 대규모 ReLU 네트워크에서도 수백 개의 유용한 절단면을 생성해 검증 성공률을 크게 향상시킨다.

상세 분석

BICCOS의 핵심 아이디어는 BaB 과정에서 “UNSAT” 혹은 검증이 완료된 서브문제들이 제공하는 논리적 정보를 절단면으로 전환한다는 점이다. 논문은 검증된 서브트리에서 양(positive) 혹은 음(negative) 상태로 고정된 뉴런 집합 (Z^{+})와 (Z^{-})를 정의하고, 이를 이용해 (\sum_{i\in Z^{+}} z_i - \sum_{i\in Z^{-}} z_i \le |Z^{+}|-1) 형태의 선형 부등식(절단면)을 도출한다. 이 절단면은 해당 조합이 불가능함을 전역적으로 제한하므로, 아직 분기되지 않은 다른 서브문제에서도 탐색 공간을 효과적으로 축소한다.

절단면의 효율성을 높이기 위해 논문은 “영향 점수(influence score)”를 도입한다. 각 뉴런은 현재 경로에서 차지하는 기여도를 정량화하고, 높은 점수를 가진 뉴런을 중심으로 절단면을 강화한다. 구체적으로, 불필요한 뉴런을 제거해 (|Z^{+}|)를 감소시키면 절단면의 오른쪽 항이 작아져 제약이 더 강력해진다. 이는 기존 GCP‑CROWN이 다루던 일반적인 절단면과 달리, BaB 과정에서 동적으로 변하는 변수 고정 상황을 자연스럽게 반영한다.

또한 BICCOS는 “다중 트리 탐색(multi‑tree search)” 전략을 제안한다. 메인 BaB가 시작되기 전에 얕은 깊이의 여러 서브트리를 병렬로 탐색해 잠재적인 절단면을 사전 수집한다. 이렇게 확보된 절단면은 메인 탐색 단계에 즉시 적용되어 초기 경계가 크게 강화되고, 전체 트리의 깊이와 노드 수를 감소시킨다.

기술적인 구현 측면에서 논문은 GCP‑CROWN의 바인드 전파 메커니즘을 확장한다. 기존에는 고정되지 않은 ReLU 지표 변수 (z)만을 대상으로 했지만, BICCOS는 이미 분기 과정에서 0 또는 1로 고정된 (z)를 포함한 전체 분할 집합 (Z)를 고려한다. 이를 위해 라그랑주 이중 문제에 대한 파라미터 (\alpha, \beta, \mu, \tau)를 재정의하고, 고정된 (z)에 대한 기여를 직접 절단면에 반영한다. 결과적으로 모든 서브도메인이 동일한 절단면 집합을 공유하면서도, 각 노드에서의 변수 고정 상황을 정확히 반영할 수 있다.

실험에서는 VNN‑COMP 2024 벤치마크와 자체 구축한 대규모 CIFAR‑100, Tiny‑ImageNet 모델을 대상으로 기존 최첨단 검증기(α,β‑CROWN, BaBSR, DeepPoly 등)와 비교하였다. BICCOS는 평균 2.3배 이상의 검증 성공률을 보였으며, 특히 100 M 파라미터 규모의 네트워크에서도 수백 개의 절단면을 실시간으로 생성해 전체 실행 시간을 40 % 이상 단축시켰다. 이는 MIP 기반 절단면이 대규모 네트워크에서 타임아웃에 빠지는 문제를 효과적으로 해결한 결과이다.

요약하면, BICCOS는 BaB 트리에서 얻은 논리적 정보를 절단면으로 전환하고, 영향 점수 기반 강화와 다중 트리 사전 탐색을 결합함으로써, 기존 절단면 기법의 확장성 한계를 극복하고 대규모 ReLU 네트워크 검증에 실용적인 성능 향상을 제공한다.