입력볼록 콜모고로프 아놀드 네트워크: P1 및 큐빅 스플라인 기반 새로운 구조

초록

본 논문은 콜모고로프‑아놀드(KAN) 표현을 활용해 입력볼록 신경망(ICNN)의 대안인 입력볼록 KAN(ICKAN)을 제안한다. 두 가지 아키텍처—선형 구간(P1‑ICKAN)과 큐빅 스플라인(Cubic‑ICKAN)—를 설계하고, P1‑ICKAN에 대해 보편 근사 정리를 증명한다. 실험에서는 다차원 볼록 함수 근사와 최적수송 문제에서 ICNN과 경쟁력 있는 성능을 보이며, 특히 적응형 그리드가 성능을 크게 향상시킨다.

상세 분석

이 논문은 기존 입력볼록 신경망(ICNN)이 비선형 활성화와 가중치 비음성 제약을 통해 볼록성을 보장하는 방식과는 달리, 콜모고로프‑아놀드 정리를 기반으로 1차원 함수들의 합성으로 다변량 함수를 표현한다는 근본적인 아이디어를 채택한다. 저자는 먼저 KAN의 외부 합을 m개의 항으로 확장하고, 각 항을 1차원 함수 Φ와 ψ의 조합으로 구현한다. 여기서 핵심은 Φ와 ψ를 실제 학습 가능한 형태로 근사하는 방법이다.

첫 번째 아키텍처인 P1‑ICKAN은 Φ를 선형 구간(피스와이즈 선형) 형태로 제한하고, 각 구간의 기울기 차이를 비음성(max) 연산으로 강제함으로써 전체 함수가 볼록성을 유지하도록 설계한다. 그리드 포인트를 고정하거나 학습 가능한 파라미터(e)로 적응시키는 두 가지 변형을 제시했으며, 적응형 그리드가 데이터 분포에 맞춰 구간을 재배치함으로써 근사 정확도가 크게 개선되는 것을 실험적으로 확인했다.

두 번째 아키텍처인 Cubic‑ICKAN은 Φ를 Hermite 큐빅 스플라인으로 교체한다. 스플라인의 계수는 함수값과 1차 도함수를 파라미터화하고, 도함수의 비감소성을 보장하기 위해 max와 sigmoid 연산을 결합한다. 이 설계는 기울기 정보를 부드럽게 제공하므로 최적수송과 같이 미분이 중요한 응용에 유리하지만, 현재는 수렴성을 보장하는 정리가 없으며 오직 실험적 수렴 관찰에 의존한다는 한계가 있다.

이론적 측면에서 저자는 P1‑ICKAN에 대해 두 가지 보편 근사 정리를 증명한다. 하나는 적응형 그리드가 허용될 때, 다른 하나는 고정 그리드일 때이며, 둘 다 Lipschitz 연속 볼록 함수 집합을 sup‑norm 기준으로 조밀하게 근사함을 보인다. 이는 기존 KAN 문헌에서 주로 다루던 연속성 보장은 물론, 볼록성까지 동시에 만족시키는 첫 사례라 할 수 있다.

실험에서는 (i) 다차원 볼록 함수 f(x)=∑|x_i|+|1−x_i|+xᵀAx의 근사, (ii) 2차원 토이 제어 문제, (iii) 두 확률분포 사이의 최적수송 맵 계산을 수행한다. 결과는 P1‑ICKAN(특히 적응형 버전)이 동일 파라미터 규모의 ICNN과 비슷하거나 더 낮은 MSE를 기록함을 보여준다. Cubic‑ICKAN은 기울기 추정이 필요한 최적수송 실험에서 ICNN과 거의 동등한 성능을 보였지만, 학습 안정성은 P1‑ICKAN보다 약간 떨어졌다.

또한 부분 입력볼록성을 다루는 PICKAN(Partial ICKAN)과 PICNN을 비교한 실험도 포함했으며, 부분 볼록 제약을 정확히 유지하면서도 비슷한 근사 품질을 달성한다는 점을 확인했다.

전체적으로 이 논문은 KAN 기반 볼록 근사라는 새로운 패러다임을 제시하고, 특히 P1‑ICKAN의 이론적 보장과 적응형 그리드 설계가 실용적인 성능 향상을 입증한다는 점에서 의미가 크다. 다만, Cubic‑ICKAN의 수렴성 이론 부재와 KAN 전체 구조가 여전히 계산량이 크다는 점은 향후 연구 과제로 남는다.