특징 강화 콜모고로프‑아놀드 네트워크

초록

FEKAN은 기존 KAN 구조에 추가적인 피처를 도입해 파라미터 수는 그대로 유지하면서 연산 효율과 표현력을 크게 향상시킨 모델이다. 함수 근사, 물리 기반 PDE 해결, 신경 연산자 등 다양한 벤치마크에서 기존 SplineKAN·FastKAN·WavKAN·RBFKAN 등과 비교해 수렴 속도가 빠르고 정확도가 높으며, 이론적으로도 KAN보다 높은 표현 용량을 갖는 것이 증명된다.

상세 분석

FEKAN 논문은 Kolmogorov‑Arnold 네트워크(KAN)의 핵심 아이디어인 함수 분해를 유지하면서, “Feature Enrichment”라는 간단한 메커니즘을 통해 계산 복잡도를 크게 낮추고 학습 효율을 높이는 방식을 제안한다. 기존 KAN은 각 뉴런이 1차원 입력에 대해 다항식, 스플라인, 웨이브릿 등 복잡한 기저 함수를 학습하도록 설계돼, 파라미터 수는 비교적 적지만 각 기저 함수의 평가와 미분이 고비용 연산을 요구한다. 특히 고차원 입력에 대해 다중 기저 함수를 겹쳐 쓰는 경우 메모리와 시간 복잡도가 급격히 증가해 대규모 데이터셋이나 실시간 응용에 제약이 있었다.

FEKAN은 이러한 문제를 “피처 확장”이라는 단계로 해결한다. 구체적으로 입력 벡터 x에 대해 사전 정의된 고정 변환(예: Fourier Feature, Random Kitchen Sinks, Chebyshev 다항식 등)을 적용해 확장된 피처 집합 Φ(x)를 만든 뒤, 기존 KAN 구조에 그대로 연결한다. 중요한 점은 Φ(x)의 파라미터가 학습 대상이 아니며, 단순히 고정된 매핑이므로 전체 학습 파라미터 수는 변하지 않는다. 이로써 모델은 원래 입력보다 더 풍부한 비선형 변환 공간을 탐색하게 되며, 동일한 KAN 레이어가 더 복잡한 함수를 근사할 수 있다.

이론적 분석에서는 FEKAN이 기존 KAN보다 높은 ‘표현 용량(Representation Capacity)’을 갖는 것을 보인다. 저자들은 Kolmogorov‑Arnold 정리의 확장 형태를 이용해, 피처 확장이 입력 공간을 고차원 초평면으로 매핑함으로써 원래 KAN이 필요로 하는 기저 함수의 수를 실질적으로 감소시킨다는 점을 증명한다. 또한, 피처 매핑이 선형이므로 역전파 과정에서 추가적인 미분 비용이 거의 없으며, 오히려 입력 차원이 늘어나면서 각 레이어의 활성화가 더 빠르게 포화되지 않아 학습 초기에 큰 그래디언트가 유지된다.

실험 부분에서는 함수 근사(다항식, 트리거 함수, 고주파 신호), 물리 기반 PDE(열전도 방정식, Navier‑Stokes, 파동 방정식) 및 신경 연산자(프랙탈 변환, 맵-투-맵) 등 12개 이상의 데이터셋을 사용했다. 모든 실험에서 FastKAN, WavKAN, RBFKAN 등 최신 변형과 비교했을 때, FEKAN은 동일한 에폭 수에서 평균 15‑30% 빠른 수렴을 보였으며, 최종 테스트 오류는 5‑12% 정도 낮았다. 특히 고주파 함수를 다루는 경우, 기존 KAN은 기저 함수 수를 늘려야 했지만 FEKAN은 단순히 피처 매핑만으로도 충분히 높은 정확도를 달성했다.

추가적으로 저자들은 연산 프로파일링을 통해 FEKAN이 메모리 사용량을 20‑35% 절감하고, GPU/TPU 환경에서 FLOPs를 현저히 낮추는 것을 확인했다. 이는 피처 매핑이 한 번만 수행되고, 이후 KAN 레이어가 동일한 연산 흐름을 유지하기 때문이다. 마지막으로, 파라미터 수가 변하지 않으면서도 성능이 개선되는 점은 모델 압축 및 경량화에 큰 장점을 제공한다는 점을 강조한다.

전체적으로 FEKAN은 KAN의 해석 가능성(각 레이어가 독립적인 1‑D 함수로 분해된다는 점)과 새로운 피처 매핑을 결합해, 기존 한계였던 계산 비용과 수렴 속도 문제를 효과적으로 해결한다. 이는 KAN 기반 모델이 실제 산업 현장이나 과학 시뮬레이션에 적용될 수 있는 가능성을 크게 확장시킨다.