KAN 검증을 위한 최적 조각선형 추상화

초록

본 논문은 Kolmogorov‑Arnold Network(KAN)의 비선형 단일 변수 활성 함수를 조각선형(PWA) 근사로 대체하고, 각 유닛별 오류와 전체 네트워크 오류를 정량화한다. 동적 프로그래밍으로 유닛별 최적 조각 수를 구하고, 이를 전체 네트워크에 적용해 조각 수와 허용 오차 사이의 전역 최적화를 knapsack 문제로 변환한다. 얻어진 PWA 추상화를 MILP에 인코딩해 입력 구간에 대한 출력 범위 검증을 수행한다. 실험 결과, 제안 방법이 기존 MILP 기반 검증보다 더 적은 이진 변수와 더 긴 오류 한계 내에서 높은 정확도의 검증을 제공한다.

상세 분석

이 논문은 KAN이 “단일 변수 함수들의 합성”이라는 수학적 구조를 갖는다는 점에 착안한다. 기존의 ReLU‑기반 네트워크 검증 기법은 고정된 비선형 함수를 전제로 하지만, KAN은 학습 과정에서 B‑스플라인, 가우시안 프로세스 등 다양한 연속 함수를 사용한다. 따라서 검증을 위해서는 이러한 함수를 선형화하거나 근사화해야 하는데, 저자는 각 유닛을 조각선형(PWA) 함수로 대체하고, 조각 수와 근사 오차 사이의 트레이드‑오프를 정량화한다.

핵심 기여는 두 단계로 나뉜다. 첫 번째는 동적 프로그래밍(DP)을 이용해 단일 변수 함수 ψ에 대해 주어진 최대 조각 수 k 이하에서 최소화된 이산 오류 e(Δ)를 구하는 알고리즘이다. DP는 구간을 격자점 Δ로 나누고, 각 구간을 하나의 선형 조각으로 근사했을 때 발생하는 최대 편차를 sPE로 계산한다. 이 과정을 메모이제이션하면 O(j³·k) 시간 복잡도로 최적의 조각 위치를 찾을 수 있다. 여기서 j는 격자점 개수이며, 연속 오류와 이산 오류 사이의 차이를 보정하는 추가 항을 도입해 연속적인 최적성을 보장한다.

두 번째는 네트워크 전체 수준에서 각 유닛별 조각 수 선택을 최적화하는 knapsack 모델이다. 각 유닛 i의 조각 수 x_i에 대해 비용은 추가되는 이진 변수 수(=x_i‑1)이고, 가치(또는 이득)는 해당 유닛에서 감소되는 근사 오차 e_i(x_i)이다. 전체 허용 오차 δ를 만족하도록 총 오차 ≤ δ가 되도록 하는 최소 비용 조합을 찾는 것이 목표이며, 이는 0‑1 knapsack 문제로 귀결된다. 저자는 DP 기반 유닛 최적화와 knapsack 최적화를 결합해 전역적으로 최소한의 이진 변수로 지정된 오류 한계를 만족하는 조각 배치를 도출한다.

이후 얻어진 PWA 네트워크 ˆf_N을 MILP에 인코딩한다. 각 조각은 선형 제약식과 이진 변수로 표현되며, 입력 구간