TruKAN: 트렁케이트 파워 함수로 구현한 효율적인 콜모고로프‑아놀드 네트워크

초록

TruKAN은 기존 KAN에서 B‑스플라인 대신 k차 트렁케이트 파워 함수를 기반으로 한 활성화 함수를 도입해 계산량을 크게 줄이고 학습 속도를 높였다. 공유 혹은 개별 노드별 knot을 선택할 수 있으며, EfficientNet‑V2와 결합해 이미지 분류 벤치마크에서 MLP, 기존 KAN, SineKAN 대비 정확도·시간·메모리 효율 모두 우수함을 보였다.

상세 분석

본 논문은 KAN의 핵심 아이디어인 “각 에지마다 학습 가능한 일변 함수”를 유지하면서, B‑스플라인을 대체할 트렁케이트 파워 함수(Truncated Power Function, TPF)를 제안한다. TPF는 (x‑τ)_+^k 형태의 조각다항식으로, knot τ와 차수 k가 파라미터화된다. 이 구조는 B‑스플라인이 갖는 복잡한 de Boor‑Cox 재귀 연산을 회피하고, 단순한 행렬 연산만으로 전방·역전파가 가능해 GPU 메모리 사용량과 연산 시간을 크게 절감한다.

TruKAN 레이어는 (1) TPF 기반 비선형 파트와 (2) 저차 다항식 파트의 두 구성요소를 선형 결합한다. 비선형 파트는 지역적 비선형성을 제공하고, 다항식 파트는 전역적인 트렌드 보정을 담당한다. 이렇게 두 파트를 결합함으로써, 순수 TPF가 갖는 “극단적인 기울기 폭발·소실” 위험을 완화하고, 학습 안정성을 확보한다.

논문은 knot의 두 가지 관리 방식을 제시한다. 첫 번째는 고정된 균등 간격 knot(공유 knot)으로, 파라미터 수를 최소화하고 해석성을 높인다. 두 번째는 각 출력 채널마다 독립적으로 학습되는 개별 knot으로, 데이터의 비선형 특성이 집중되는 영역에 더 많은 자유도를 부여한다. 개별 knot은 positivity, ordering, 최소 간격 제약을 통해 최적화 과정에서 비정상적인 위치 이동을 방지한다.

학습 측면에서는 “Hybrid Optimization”이라 명명한 두 단계 전략을 사용한다. 초기 단계에서는 Adam을 이용해 빠른 수렴을 유도하고, 이후 단계에서는 SGD(또는 LAMB)와 weight decay를 결합해 일반화 성능을 끌어올린다. 또한 레이어 정규화(Layer Normalization)와 데이터 증강 파이프라인을 동일하게 적용해 비교 실험 간 공정성을 유지한다.

성능 평가에서는 EfficientNet‑V2 기반의 백본에 MLP, KAN, SineKAN, TruKAN 분류기를 각각 장착한 6가지 모델을 구축했다. 작은 아키텍처(≈5M 파라미터)와 깊은 아키텍처(≈20M 파라미터) 두 가지 스케일에서 CIFAR‑10/100, Tiny‑ImageNet 등 표준 비전 데이터셋을 사용했다. 결과는 TruKAN이 동일 파라미터 수 조건에서 최고 정확도를 기록했을 뿐 아니라, 학습 시간은 KAN 대비 평균 3.2배, 메모리 사용량은 40% 이상 절감했다. 공유 knot 버전은 약간 낮은 정확도를 보였지만, 파라미터와 메모리 효율성에서는 가장 우수했다.

이론적 논의에서는 TPF가 B‑스플라인보다 전역 지원(global support)이 약해 급격한 변곡점 근처에서 근사력이 떨어질 수 있음을 인정한다. 그러나 다층 구조에서 각 레이어가 점진적으로 비선형성을 축적하므로, 전체 모델 수준에서는 충분한 표현력을 확보한다는 실험적 증거를 제시한다. 또한 TPF의 지수적 성장·감소 특성으로 인한 기울기 폭발을 방지하기 위해 coefficient clipping과 정규화 기법을 적용했으며, 이는 학습 안정성에 크게 기여한다.

비판적으로 보면, 논문은 트렁케이트 파워 함수의 차수 k와 knot 개수에 대한 민감도 분석이 부족하고, 다양한 도메인(예: 시계열, 자연어)에서의 일반화 가능성을 검증하지 않았다. 또한 기존 KAN 변형들(예: FastKAN, EfficientKAN)과의 직접 비교가 없으며, 하드웨어별(CPU vs GPU) 효율성 차이도 상세히 보고되지 않았다. 그럼에도 불구하고, KAN 기반 모델의 실용성을 크게 향상시킨 점은 주목할 만하다.