시간을 뛰어넘는 스파이킹 그래프 신경망 ChronoSpike

초록

ChronoSpike은 동적 그래프의 구조와 시간 변화를 동시에 포착하기 위해, 학습 가능한 LIF 뉴런, 다중 헤드 어텐션 기반 공간 집계, 그리고 경량 Transformer 시간 인코더를 결합한 적응형 스파이킹 GNN이다. 선형 메모리 복잡도(O(T·d))와 105K 파라미터 고정으로, 기존 방법 대비 2 % 수준의 Macro‑F1·Micro‑F1 향상과 3‑10배 빠른 학습 속도를 달성한다.

상세 분석

ChronoSpike은 동적 그래프 표현 학습(DGRL)에서 가장 큰 난제인 “구조‑시간 복합성”을 효율적으로 해결한다는 점에서 의미가 크다. 기존 방법은 크게 (1) 순환 기반(RNN, JODIE 등) – 시간 의존성을 잘 포착하지만 노드당 dense hidden state를 유지해야 하므로 O(|V|·d) 메모리와 장기 의존성에서의 기울기 소실 문제가 있다. (2) 자기‑주의 기반(TGN, TGAT 등) – 표현력은 뛰어나지만 시간·이웃 차원에서 O(T²) 혹은 O(|E|·T) 연산량이 폭발한다. (3) 스파이킹 기반(SGNN, SpikeNet 등) – 이벤트‑드리븐으로 에너지 효율이 좋지만 이진 스파이크와 순차 전파 때문에 장기 의존성 모델링이 제한되고, 지역 집계에 머물러 전역 컨텍스트를 놓친다.

ChronoSpike은 세 가지 핵심 설계로 이 트릴레마를 해소한다. 첫째, 학습 가능한 LIF(Leaky Integrate‑and‑Fire) 뉴런을 도입해 채널별 시간 상수 τ와 발화 임계값 V_th를 파라미터화한다. 이는 각 특성 채널이 서로 다른 시간 스케일을 학습하도록 하여, 급격히 변하는 이벤트와 느리게 변하는 구조적 흐름을 동시에 포착한다. 수식 (2)‑(3)에서 보듯, 메모리 전위는 전 단계 전위와 입력 h(t)의 가중합으로 업데이트되고, 임계값 초과 시 스파이크가 발생한 뒤 reset이 적용돼 전위 폭주를 방지한다.

둘째, 다중 헤드 어텐션 기반 공간 집계를 스파이크 변환 이전에 수행한다. 노드 v의 이웃 N_t(v)에서 샘플링된 고정 크기 집합에 대해, 각 헤드마다 Q, K, V를 학습하고 소프트맥스 정규화된 α_{vu}(t)를 통해 가중합을 만든다(식 1). 이 과정은 연속형 피처를 그대로 활용하므로 이진 스파이크가 초래하는 정보 손실을 최소화하고, 어텐션을 통해 동적 그래프의 급격한 토폴로지 변화를 반영한다.

셋째, 경량 Transformer 기반 시간 인코더를 도입해 스파이크 시퀀스를 전역적으로 통합한다. 각 타임스텝의 스파이크 벡터 s(t)∈{0,1}^{N×d}는 위치 인코딩과 함께 입력되어, 다중 헤드 자기‑주의(Q·K·V)와 Feed‑Forward 네트워크를 거쳐 O(T·d) 메모리 안에서 장기 의존성을 학습한다. 기존 SNN에서 순차 전파만 사용하던 방식과 달리, Transformer는 병렬 연산이 가능해 학습 속도를 3‑10배 가속한다.

이론적으로 논문은 전위 유계(boundedness), 수축 계수 ρ<1에 의한 기울기 흐름 안정성, 그리고 BIBO(입력‑출력 유한) 안정성을 증명한다. 전위 유계는 τ와 V_th가 양수이고 제한된 범위 내에 있음을 가정해 전위가 무한히 커지는 것을 방지하고, 수축 계수는 LIF 업데이트가 선형(또는 Lipschitz) 연산임을 이용해 역전파 시 기울기 소실을 억제한다. BIBO 안정성은 스파이크 출력이 입력 신호의 유한 L2 노름에 비례함을 보이며, 이는 실제 시스템에서 노이즈에 강인함을 의미한다.

실험에서는 세 개의 대규모 동적 그래프 벤치마크(예: Reddit‑Temporal, Wikipedia‑Links, MOOC‑Interaction)를 사용해 12개의 최신 비‑스파이킹·스파이킹 모델을 비교했다. ChronoSpike은 Macro‑F1 2.0 %, Micro‑F1 2.4 % 상승을 기록했으며, 파라미터 수 105K로 고정돼 그래프 크기에 무관하게 메모리 사용량이 일정했다. 또한 스파이크 희소도 83‑88 %를 달성해 에너지 효율성을 입증했고, 시각화된 시간 수용 영역 분석을 통해 초기 타임스텝에 높은 가중치를 두는 ‘프라이머시 효과’를 학습함을 확인했다.

한계점으로는 (1) LIF 파라미터 학습이 초기값에 민감해 하이퍼파라미터 튜닝이 필요하고, (2) Transformer 인코더가 완전한 순차 모델에 비해 여전히 O(T·d) 메모리를 요구해 초장기(T>10⁴) 시퀀스에서는 추가 압축 기법이 요구된다. 향후 연구는 메타‑학습 기반 τ·V_th 초기화, 그리고 효율적인 라인어스(Linear‑Complexity) 시간 인코더 설계로 확장성을 더욱 높일 수 있다.