전기 에너지 시스템 모델링을 위한 백색 상자 딥러닝 Kolmogorov Arnold 네트워크

초록

본 논문은 전기 에너지 시스템의 물리적 과정을 투명하게 표현할 수 있는 새로운 신경망 구조인 Kolmogorov‑Arnold Network(KAN)를 제안한다. KAN은 가중치가 아닌 엣지에 학습 가능한 활성화 함수를 두고, L1·엔트로피 정규화와 희소화 과정을 통해 불필요한 노드를 제거한다. 최종적으로는 스플라인 기반의 활성화 함수를 사전 정의된 다항·삼각·선형 함수 등으로 치환함으로써 수학적 식 형태의 모델을 얻는다. 시뮬레이션 결과, KAN은 기존 LSTM·MLP 기반 모델에 비해 해석 가능성, 정확도, 강인성 및 일반화 능력에서 우수함을 보였다.

상세 분석

본 연구는 전통적인 딥러닝 모델이 “블랙 박스”라는 비판을 받는 점을 극복하고자, Kolmogorov‑Arnold 정리를 실용적인 네트워크 설계에 적용한 KAN(Kolmogorov‑Arnold Network)을 도입한다. Kolmogorov‑Arnold 정리는 다변량 연속 함수를 일련의 일변량 연속 함수와 선형 결합으로 정확히 표현할 수 있음을 보장한다. 이를 신경망에 매핑하면, 각 엣지에 배치된 학습 가능한 일변량 활성화 함수 φₚ,ₛ가 입력 변수와 내부 노드 사이의 비선형 변환을 담당한다.

KAN의 핵심 혁신은 세 단계로 요약할 수 있다. 첫째, 학습 가능한 활성화 함수를 도입함으로써 전통적인 고정 시그모이드·ReLU와 달리 데이터에 맞춰 함수 형태 자체를 최적화한다. 활성화 함수는 기본 베이스 함수 b(x)와 스플라인(spline) 형태의 보정 함수 ωₛ·spline(x)로 구성되며, 스플라인은 B‑스플라인 기반의 선형 결합으로 구현된다(식 2‑4). 둘째, 희소화 및 정규화 과정에서 L1 정규화와 엔트로피 정규화를 동시에 적용한다. L1 정규화는 활성화 함수 출력 평균값을 최소화해 큰 출력값을 억제하고, 엔트로피 정규화는 활성화 함수의 사용 빈도를 균등하게 분산시켜 “드롭아웃” 효과를 만든다. 이를 통해 네트워크는 불필요한 엣지와 노드를 자동으로 제거하고, 최종 모델은 매우 적은 수의 파라미터만을 보유한다. 셋째, 심볼리피케이션 단계에서 남은 스플라인 기반 활성화 함수를 사전 정의된 단순 함수(예: 2차 다항식, 사인, 선형)로 교체한다. 교체 기준은 R² 상관계수를 이용한 자동 매칭 또는 사용자가 직접 지정하는 방식으로 구현된다. 결과적으로 KAN은 복잡한 뉴런 연산을 명시적인 수식 형태로 변환할 수 있다.

학습 과정은 초기화 → 희소화 → 심볼리피케이션 → 파라미터 미세조정의 네 단계로 구성된다. 초기화 단계에서는 최소 2층 구조(입력‑중간‑출력)를 갖추어 함수 근사 능력을 확보한다. 희소화 단계에서는 손실 함수에 L1·엔트로피 정규화 항을 추가하고, 사전 정의된 임계값을 넘는 노드만을 유지한다. 심볼리피케이션 단계에서는 남은 활성화 함수를 간단한 기저 함수로 대체함으로써 모델을 수식화한다. 마지막 파라미터 미세조정 단계에서는 교체된 함수들의 파라미터를 재학습해 최종 성능을 끌어올린다.

실험에서는 세 가지 전기 에너지 시스템(배터리 등가 회로 모델, 가상 동기 발전기, 전력 전자 변환기)을 대상으로 KAN을 적용하였다. 비교 대상은 LSTM, 전통적인 MLP, 그리고 물리 기반 ECM 모델이다. 결과는 다음과 같다. (1) 해석 가능성: KAN은 1015개의 활성화 함수와 57개의 노드만을 사용해, 각 함수가 물리적 의미(예: 전압‑전류 비선형 관계)를 직접 나타내는 수식으로 변환되었다. (2) 정확도: 평균 제곱 오차(MSE) 기준으로 기존 LSTM 대비 812% 개선을 보였으며, 물리 기반 모델 대비 59% 향상되었다. (3) 강인성: 노이즈가 섞인 테스트 데이터에 대해 성능 저하가 3% 이하로, 기존 딥러닝 모델보다 훨씬 안정적이었다. (4) 일반화: 훈련 데이터와 다른 운영 조건(온도, 부하 변동)에서도 오차 증가가 4% 미만으로, 모델의 전이 학습 능력이 뛰어났다.

또한, KAN은 비지도 학습에도 적용 가능함을 시연하였다. 입력 변수들 간의 잠재적 관계를 탐색하는 경우, KAN은 활성화 함수의 형태와 연결 구조를 통해 변수 간 비선형 상관관계를 자동으로 추출한다. 이는 전통적인 클러스터링이나 차원 축소 기법보다 물리적 해석 가능성을 제공한다는 점에서 의미가 크다.

전반적으로 KAN은 Kolmogorov‑Arnold 정리의 이론적 토대를 실용적인 신경망 설계에 성공적으로 적용했으며, 학습 가능한 활성화 함수와 정규화 기반 희소화, 심볼리피케이션 과정을 통해 “백색 상자” 딥러닝 모델을 구현했다. 이는 전기 에너지 시스템뿐 아니라 복잡한 물리 시스템 전반에 적용 가능한 새로운 패러다임을 제시한다.