파라미터 효율적인 스프레처 기반 콜모고로프 아놀드 네트워크 GSKAN

초록

본 논문은 콜모고로프‑아놀드 정리를 활용한 KAN 모델의 파라미터 비효율성을 스프레처 정리의 아이디어로 해결한다. 레이어당 하나의 학습 가능한 B‑스플라인을 공유하고, 각 엣지는 선형 스케일·시프트 변환을 통해 개별 함수를 생성한다. 실험 결과, 합성 함수 근사, 탭ular 회귀, 이미지 분류에서 기존 KAN과 MLP를 능가하면서 파라미터 수는 MLP 수준으로 감소한다.

상세 분석

GS‑KAN은 기존 KAN이 각 엣지마다 독립적인 유니버설 함수(보통 B‑스플라인)를 학습하도록 설계된 점을 근본적으로 재구성한다. 스프레처 정리에서 제시된 “단일 내부 함수와 외부 함수의 공유” 개념을 확장하여, 레이어당 하나의 마스터 함수 ψ​l 를 학습하고 이를 λ​p,q·ψ​l(x​p+ϵ​q) 형태의 선형 변환으로 각 엣지에 적용한다. 이때 λ​p,q와 ϵ​q는 각각 엣지별 가중치와 노드별 시프트 파라미터로, 모두 학습 가능한 스칼라이다. 결과적으로 파라미터 복잡도는 O(N​in·N​out)+C 로, C는 스플라인 계수 수에 불과해 MLP와 동일한 차수로 축소된다.

수학적으로는 기존 KAN의 식 y​q=∑​p φ​q,p(x​p) 를 y​q=∑​p λ​p,q·ψ​l(x​p+ϵ​q) 로 대체함으로써, φ​q,p 를 ψ​l 의 선형 변환으로 근사한다. 이는 스플라인 자체가 충분히 유연하기 때문에, 다양한 비선형 형태를 표현할 수 있음을 의미한다. 또한, 정적 도메인