무료 RBF KAN 적응형 자유 결절 기반 고효율 함수 학습

초록

Free‑RBF‑KAN은 기존 B‑스플라인 KAN의 계산 비용을 라디얼 베이시스 함수(RBF)와 자유 결절(Free‑Knot) 메커니즘으로 대체하여, 학습과 추론 속도를 크게 높이면서도 근사 정확도는 유지하거나 향상시키는 새로운 네트워크 구조이다. 저자는 적응형 중심점과 스무스 파라미터를 학습 가능한 형태로 설계하고, 이를 기반으로 RBF‑KAN의 보편 근사 정리를 최초로 증명하였다. 실험에서는 다중 스케일 회귀, 물리 기반 PINN, 연산자 학습 등 다양한 고차원 과제에서 기존 B‑스플라인 KAN 및 기존 RBF‑KAN보다 높은 효율과 정확도를 보였다.

상세 분석

Free‑RBF‑KAN은 Kolmogorov‑Arnold 정리를 실현하는 KAN 프레임워크에 RBF 기반 유니버설 함수 근사를 도입한 점이 핵심이다. 기존 B‑스플라인 KAN은 De Boor 알고리즘에 의존해 다차원 입력에 대해 복잡한 스플라인 계산을 수행하므로 연산량이 크게 늘어나며, 특히 학습 단계에서 도메인 재스케일링이 추가적인 오버헤드를 만든다. 반면, RBF‑KAN은 1차원 Gaussian 혹은 Matérn 커널을 사용해 각 유니버설 함수의 형태를 단순화하지만, 기존 연구에서는 중심점(centroid)과 스무스 파라미터를 고정하거나 제한된 방식만 학습해 정확도 저하가 발생했다.

Free‑RBF‑KAN은 두 가지 혁신을 제시한다. 첫째, “free‑knot” 개념을 RBF에 적용해 중심점을 순서에 구애받지 않으며, tanh 기반의 단조 변환을 통해 사전 정의된 구간 안에 안전하게 매핑한다. 이를 통해 초기 균등 배치에서 시작해 학습 과정 중에 데이터의 활성 패턴에 맞춰 동적으로 재배치가 가능해진다. 둘째, 스무스 파라미터 σ를 exp(˜σ) 형태로 재파라미터화해 양의 제약을 자연스럽게 만족시키면서도 미분 가능성을 유지한다. 이러한 적응형 메싱과 스무스니스 학습은 RBF의 표현력을 크게 확장시켜, 고주파 성분이나 급격한 변화가 있는 함수도 적은 수의 중심점으로 정확히 근사할 수 있게 한다.

이론적으로 저자는 RBF‑KAN이 기존 RBF 네트워크의 보편 근사 정리를 그대로 계승함을 보였으며, Kolmogorov‑Arnold 정리와 Pinkus‑Leshno의 유니버설 밀도 정리를 결합해 “Non‑Polynomial KAN”(NP‑KAN) 형태의 보편 근사 정리를 증명한다. 특히, RBF 커널이 다항식이 아니면 1차원 스팬이 연속 함수 공간을 조밀하게 근사한다는 점을 이용해, 다변량 함수도 유니버설 유니버스 함수들의 합으로 정확히 표현할 수 있음을 보였다. 또한 NTK 분석을 통해 Free‑RBF‑KAN이 스펙트럴 바이어스를 갖지 않으며, 이는 고주파 성분을 포함한 PDE 문제에서 기존 PINN보다 빠른 수렴과 낮은 오류를 보이는 원인으로 작용한다.

실험에서는 다중 스케일 회귀, 열전도와 Helmholtz 방정식 기반 PINN, 그리고 반응‑확산 연산자 학습(DeepONet) 세 가지 벤치마크를 사용했다. 모든 경우에서 Free‑RBF‑KAN은 B‑스플라인 KAN과 동등하거나 더 낮은 L2 오차를 기록했으며, 학습 시간은 평균 23배, 추론 시간은 1.52배 가량 단축되었다. 특히, 열전도 PDE에서는 기존 PINN이 수렴하지 못하는 반면, Free‑RBF‑KAN은 안정적으로 해를 찾아냈다. 파라미터 수 측면에서도 기존 DeepONet 대비 30%~40% 적은 파라미터로 동일 수준의 정확도를 달성했다. 이러한 결과는 자유 결절과 적응형 스무스니스가 고차원 구조화 모델링에서 효율성과 정확성을 동시에 만족시킬 수 있음을 실증한다.

요약하면, Free‑RBF‑KAN은 (1) 자유 결절 기반의 적응형 메싱, (2) 학습 가능한 스무스 파라미터, (3) 보편 근사 정리와 NTK 분석을 통한 이론적 보증, (4) 다양한 과학·공학 응용에서 입증된 실용성을 모두 갖춘 차세대 KAN 아키텍처라 할 수 있다.