양자 신경망을 위한 동적 파라미터 프리징 최적화기 WSBD

초록

WSBD는 그래디언트 기반 중요도 점수를 이용해 훈련 중 덜 중요한 파라미터를 일시적으로 동결시키는 QNN 전용 옵티마이저이다. 파라미터‑와이즈 프리징으로 전방 패스 횟수를 크게 줄이고, 수렴 속도를 평균 63.9 % 가량 가속한다. 이론적 수렴 증명과 다양한 실험을 통해 기존 Adam 대비 효율성을 입증한다.

상세 분석

본 논문은 양자 신경망(QNN) 훈련에서 가장 큰 두 가지 병목인(1) 파라미터‑시프트 규칙에 의한 그래디언트 계산 비용과(2) 차원 증가에 따라 급격히 사라지는 배런 플래토 현상을 동시에 완화하고자 한다. 이를 위해 제안된 WSBD(Weighted Stochastic Block Descent)는 매 훈련 윈도우 τ 동안 각 파라미터의 그래디언트를 누적해 중요도 점수 Iₚ(θₖ)=∑ₜ∂C/∂θₖ를 계산한다. 누적된 절대값에 작은 ε(10⁻⁸)를 더해 모든 점수가 양수가 되도록 함으로써, 확률적 프리징 단계에서 pₖ= (|Iₚ(θₖ)|+ε)/∑ᵢ(|Iₚ(θᵢ)|+ε) 로 파라미터가 활성 상태를 유지할 확률을 정의한다. λ_f % 이하의 파라미터를 확률적으로 선택해 동결하고, 새롭게 활성화된 파라미터는 중요도 점수를 0으로 초기화한다. 이 stochastic + reset 메커니즘은 초기 단계에서 급격히 변하는 파라미터와 후반부에 재부상하는 파라미터 모두를 적절히 탐색하도록 설계되었다.

이론적 측면에서 저자들은 L‑smoothness와 기대 하강 방향 보장을 전제로, 마스크 δ(t)와 기본 옵티마이저 업데이트 uₜ가 독립임을 이용해 기대값 기반 수렴 증명을 전개한다. 최소 선택 확률 p_min>0(ε에 의해 보장)와 bounded variance 가정 하에, ∑ₜ ηₜ E