연합 스파이킹 신경망의 발화율 민감도와 차등 개인정보 보호

초록

본 논문은 차등 개인정보 보호(DP) 메커니즘이 스파이킹 신경망(SNN)의 발화율 통계에 미치는 영향을 이론적으로 분석하고, 음성 인식 작업에서 비동질적(IID) 데이터 환경을 대상으로 실험적 검증을 수행한다. DP‑SGD의 클리핑과 가우시안 노이즈가 레이어별 발화율을 편향·분산시키고, 이를 기반으로 하는 비동기 가중합 및 발화율 차이 기반 클라이언트 선택에 부정적 영향을 미침을 확인한다.

상세 분석

본 연구는 LIF(Leaky Integrate‑and‑Fire) 뉴런 기반 SNN에서 발화율 r을 모델 파라미터 Θ에 대한 함수로 정의하고, DP‑SGD가 적용된 경우 파라미터 업데이트 Θₜ₊₁ = Θₜ − ηₜ ĝₜ(σ, C) 를 전개하여 1차 근사식 r(Θ_T) ≈ r(Θ*) − ∑ₜ ηₜ ∇r(Θ*)ᵀ(ĝ̄_Cₜ − ĝ̄ₜ) 를 도출한다. 여기서 ĝ̄_Cₜ는 클리핑된 평균 그라디언트, ĝ̄ₜ는 원본 평균 그라디언트이며, 클리핑은 큰 노름을 가진 샘플을 축소(편향 δ_clip)하고, 가우시안 노이즈는 σ²C²/(B²) 배 만큼 분산을 확대한다. 이 두 효과는 발화율 민감도 벡터 ∇r(Θ*)에 의해 전파되어, (1) 평균 발화율이 시스템적으로 낮아지는 ‘bias’와 (2) 클라이언트 간 발화율 변동성이 증가하는 ‘variance’를 동시에 야기한다.

연합 학습 단계에서 서버는 (i) 비동기 가중합에서 클라이언트별 가중치 ζₖ = (2πσ_r)^{−½} exp