완전한 콜모고로프‑아놀드 기반 의료 영상 분할 모델

초록

본 논문은 깊게 쌓인 KAN(콜모고로프‑아놀드 네트워크)의 학습 난이도와 메모리 부담을 극복하기 위해 공유 활성화 SaKAN과 그래디언트‑프리 스플라인을 제안한다. 이를 기반으로 모든 Fully‑Connected와 Convolution 레이어를 KA‑기반 레이어로 교체한 ALL U‑KAN을 구축하고, 세 가지 의료 영상 분할 작업에서 기존 모델을 뛰어넘는 정확도와 10배 적은 파라미터, 20배 이상 적은 메모리 사용을 입증한다.

상세 분석

본 연구는 KAN이 기존 MLP·CNN 대비 높은 비선형 표현력을 갖지만, 각 입력 차원마다 독립적인 1차원 스플라인 활성화 함수를 학습해야 하는 구조적 한계 때문에 깊은 네트워크 설계가 사실상 불가능하다는 점을 정확히 짚어낸다. 저자는 두 가지 핵심 아이디어로 이 문제를 해결한다. 첫 번째는 Sprecher 변형 KA 정리를 기반으로 한 Share‑activation KAN(SaKAN)이다. 기존 KAN은 입력 차원 n_in과 출력 차원 n_out에 대해 n_in × n_out개의 스플라인 함수를 필요로 하지만, SaKAN은 하나의 공유 스플라인 ϕ_i를 각 출력 차원마다만 유지함으로써 파라미터 수를 n_out으로 축소한다. 동시에 동일 스플라인이 모든 입력 차원에 걸쳐 학습되므로, 각 함수당 학습 샘플 수가 크게 증가해 최적화 안정성이 크게 향상된다. 두 번째는 Grad‑Free Spline이다. 스플라인 기반 활성화 함수의 미분값을 역전파 그래프에 포함시키면 복잡한 B‑spline 미분 연산과 그에 따른 대규모 그래디언트 텐서가 메모리를 폭발적으로 소모한다. 저자는 스플라인 자체는 전방 계산에만 필요하고, 미분은 선형 잔차(b) 경로를 통해 전달해도 충분하다는 정리를 제시한다. 따라서 스플라인의 그래디언트를 차단(detach)함으로써 메모리 사용량을 20배 이상 절감하면서도 학습 성능에 거의 영향을 주지 않는다. 이 두 기술을 결합해 ALL U‑KAN을 설계했으며, 여기서는 기존 U‑Net 구조의 모든 FC와 Conv 레이어를 KA‑layer와 KAonv 레이어로 대체한다. 실험 결과, 세 가지 의료 영상 데이터셋(예: Liver Tumor, Cardiac MRI, Brain Tumor)에서 Dice 점수와 IoU가 기존 U‑Net, U‑KAN, 그리고 최신 Transformer 기반 모델을 모두 앞선다. 특히 파라미터는 10배 감소하고, GPU 메모리 요구량은 20배 이상 낮아 실용적인 대규모 학습이 가능해졌다. 이 연구는 KAN이 단순히 몇 개의 레이어를 삽입하는 보조 기법이 아니라, 완전한 대체 아키텍처로서 충분히 경쟁력을 가질 수 있음을 실증한다. 또한, 스플라인 기반 비선형 함수를 공유하고 그래디언트를 차단하는 설계 원칙은 다른 고차원 비선형 모델에도 일반화 가능성을 시사한다.