키르히호프 영감을 받은 고차원 진화 신경망

본 논문은 현대 딥러닝이 뇌의 감각 경로를 모방한다는 점은 인정하지만, 실제 생물학적 신경전달이 전압의 연속적인 변동에 기반한다는 사실을 간과하고 있음을 지적한다. 기존 신경망은 가중치와 편향을 조정해 입력‑출력 간 즉시적인 매핑을 학습하지만, 신호의 “강도(발화 강도)·연결(상호작용 구조)·진화(시간적 변화)”를 동시에 포착하는 체계적인 메커니즘이 부족하다. 특히 물리 기반 데이터(PDE 등)에서는 시간·공간 연속성을 고려한 고차원 동역학 모델링이 필수적인데, 현재의 포지셔널 인코딩이나 어텐션 기반 설계는 외부적인 힌트에 의존할 뿐, 내부 상태의 자연스러운 진화를 구현하지 못한다. 이를 해결하기 위해 저자들은 전기 회로의 키르히호프 전류 법칙(KCL)을 차용한 새로운 신경망 구조인 KINN(Kirchhoff‑Inspired Neural Network)을 제안한다. KINN은 RC(Resistor‑Capacitor) 회로의 전압‑전류 관계를 미분 방정식 형태로 수식화하고, 이를 0‑order hold 방식으로 이산화해 안정적인 업데이트 식을 얻는다. 구체적으로, \(C \frac{dv(t)}{dt}=-(G_{leak}+G_p)v(t)+B_p u(t)\) 를 정의하고, \(\alpha = (G_{leak}+G_p)/C,\ \beta = B_p/C\) 로 치환하면 \(\dot v(t) = -\alpha v(t) + \beta u(t)\) 가 된다. 이 연속식은 전압이 과거 상태에 대해 지수적으로 감쇠하면서 동시에 현재 입력 전류에 의해 주입되는 과정을 명확히 보여준다. 시간 간격 \(\Delta t\)에 대해 0‑order hold 이산화를 적용하면 \(v_{t+1}=e^{-\alpha\Delta t}v_t + \beta\frac{1-e^{-\alpha\Delta t}}{\alpha}u_t\) 라는 닫힌 형태의 재귀식이 도출된다. 여기서 첫 번째 항은 과거 전압을 보존하는 “기억” 역할을, 두 번째 항은 현재 입력을 반영하는 “주입” 역할을 수행한다. \(\alpha>0\)이면 지수 감쇠가 보장돼 수치적 안정성이 확보된다. 이 식을 그대로 구현한 단일 셀을 Kirchhoff Neural Cell(KNC)이라 부른다. KNC는 은닉 전압을 내부 상태 변수로 두고, 입력 전류와 전도도·용량 파라미터를 학습 가능한 텐서로 설정한다. KNC 하나는 1차 미분 시스템을 구현하므로, 시간에 대한 1차 응답만을 모델링한다. 고차원 동역학을 다루기 위해 여러 KNC를 순차적으로 연결한 Cascaded Kirchhoff Block(CKB)을 설계한다. 수학적으로는 각 KNC가 \((D+\alpha_\ell)\) 형태의 미분 연산자를 제공하므로, n개의 KNC를 연쇄하면 전체 시스템은 \(\prod_{\ell=1}^{n}(D+\alpha_\ell)\) 라는 n‑차 미분 연산을 수행한다. 이는 외부 입력 \(u(t)\)에 대해 고차원 응답을 생성하며, 별도의 포지셔널 인코딩 없이도 복잡한 시간 패턴을 학습한다. 구조적으로 CKB는 두 가지 정보 흐름을 병합한다. 첫 번째는 “제로‑오더” 경로로, 현재 입력을 직접 변환해 즉각적인 피처를 보존한다. 두 번째는 “하이‑오더” 경로로, 각 KNC의 출력 \(y^{(k)}\)를 모두 집계해 \(\bar y = \sum_{k=1}^{N} y^{(k)}\) 로 다중 차원의 진화 정보를 합친다. 최종 출력은 게이트형 잔차 결합 \(Y = X + \bar y \odot g\) 로 구성되며, 여기서 \(g\)는 현재 입력에 의해 동적으로 생성되는 스칼라/벡터 게이트이다. 이 설계는 깊은 단계에서 얻은 고차원 응답과 얕은 단계에서 얻은 즉시 피처를 유연하게 조합한다. 논문은 KINN을 세 가지 주요 응용에 적용한다. (1) Fourier Neural Operator(FNO)와 U‑Net 기반 연산자 학습에 CKB를 삽입해 물리 기반 PDE 솔버를 강화한다. (2) Darcy 흐름, Shallow Water, Navier‑Stokes와 같은 연속 방정식 베치마크에서 KINN‑U‑Net이 기존 DeepONet, FNO, UNO 등에 비해 RMSE를 각각 1.775e‑2, 2.587e‑3, 9.875e‑3으로 낮춘다. 이는 고차원 공간 연관성을 효과적으로 포착했음을 의미한다. (3) ImageNet‑1K 분류에서는 경량화된 KINN‑Tiny(8M 파라미터)와 KINN‑Small(15M 파라미터) 모델이 Top‑1 정확도 83.3%·83.9%를 달성해, 동일 규모의 ResNet‑50(76.2%)·EfficientNet‑B0(77.1%)보다 우수한 성능을 보인다. 실험 결과는 다음과 같은 시사점을 제공한다. 첫째, 상태 변수 기반 진화는 연속적인 물리 현상을 자연스럽게 모델링해, 시간·공간 연속성을 요구하는 PDE 문제에서 강력한 일반화 능력을 보여준다. 둘째, 고차원 미분 연산을 셀 레벨에서 구현함으로써, 외부 위치 정보 없이도 복잡한 동적 패턴을 학습할 수 있다. 셋째, KINN은 기존 딥러닝 파이프라인에 모듈식으로 삽입 가능해, 비전·시계열·시뮬레이션 등 다양한 도메인에서 물리적 일관성과 해석 가능성을 동시에 제공한다. 마지막으로, 파라미터 \(\alpha, \beta, C, G\) 등을 학습 가능한 형태로 두어, 데이터에 맞춰 물리적 시간 상수와 감쇠 비율을 자동으로 최적화한다는 점에서 전통적인 물리 기반 모델링과 데이터‑주도 딥러닝 사이의 다리를 놓는다. 결론적으로, KINN은 “전압이라는 내부 상태를 통해 신호의 진화를 직접 모델링하고, 이를 다중 셀로 계층화해 고차원 동역학을 구현한다”는 새로운 패러다임을 제시한다. 이는 딥러닝이 물리적 시스템을 보다 충실히 재현하고, 동시에 해석 가능하고 안정적인 학습을 보장하는 방향으로 나아갈 수 있음을 증명한다.