계층형 Haar 기반 Kolmogorov Arnold 네트워크

초록

본 논문은 기존 KAN에서 사용하던 B‑spline 대신 비제로 1차 미분을 갖는 계층형 Haar‑유사 기저인 Slash‑Haar( ∖H )를 도입한다. Patricia 트리를 활용한 압축 구현과 학습률 스케줄링, 부동소수점 입력 처리 기법을 결합해 고차원 함수 근사와 MNIST 분류에서 높은 정확도와 최소한의 하이퍼파라미터 튜닝을 달성한다.

상세 분석

KAN/H는 Kolmogorov‑Arnold 정리를 기반으로 한 다층 네트워크 구조에, 전통적인 B‑spline 대신 1차 미분이 존재하는 Haar‑유사 파형을 적용한다. 기존 Haar 기저는 거의 모든 구간에서 미분값이 0이어서 역전파에 부적합하지만, 논문에서 제안한 Slash‑Haar(∖H) 기저는 각 구간에서 일정한 기울기를 제공함으로써 파라미터에 대한 그래디언트를 계산할 수 있다. 이 기저는 깊이에 따라 지원 구간이 반으로 나뉘는 이진 트리 형태를 유지하면서, β 라는 감쇠 계수를 도입해 깊이가 깊어질수록 계수가 지수적으로 감소하도록 설계된다. 따라서 얕은 레벨에서는 전역적인 일반화 능력을, 깊은 레벨에서는 세밀한 지역 적합성을 동시에 확보한다.

효율적인 구현을 위해 확장된 Patricia 트리를 사용한다. 트리는 방문된 기저만을 저장하고, 연속된 단일 자식 경로를 하나의 엣지로 압축함으로써 메모리 사용을 O(min{n,2^p}) 로 제한한다. 여기서 n은 샘플 수, p는 입력 정밀도 비트 수이다. 또한, 기저값 자체가 입력 x에 의존하지 않는 Haar와 달리 ∖H는 입력 위치에 따라 부호가 변하므로, 정확한 그래디언트 대신 “사인 일치”만 보장하는 완화된 힐‑클라임 방식을 채택한다. 이는 학습 과정에서 계수 업데이트를 Haar 기반 업데이트 규칙에 따라 수행하면서도, 실제 출력은 ∖H 기반으로 계산하도록 함으로써 계산 복잡도를 크게 늘리지 않는다.

입력값이 실수 전체(−∞,∞)를 가질 수 있다는 문제에 대해서는 부동소수점 비트를 고정소수점 구간