활성화가 아니라 그래디언트로 신경망 활동 측정

초록

본 논문은 딥 강화학습 에이전트에서 뉴런의 활동 저하 문제를 기존의 활성화 기반 지표가 아닌 그래디언트 크기로 평가하는 GraMa 메트릭을 제안한다. GraMa는 아키텍처에 구애받지 않으며, 이를 이용한 ReGraMa 리셋 기법은 Residual, MoE, Diffusion 기반 정책 등 복잡한 구조에서도 뉴런의 학습 능력을 회복시켜 MuJoCo와 DeepMind Control Suite 전반에 걸쳐 성능 향상을 입증한다.

상세 분석

논문은 먼저 딥 RL에서 흔히 관찰되는 “뉴런 활동 손실(dormant neuron)” 현상을 짚고, 기존 τ‑dormant 비율이 활성화 값만을 기준으로 뉴런을 판단한다는 한계를 지적한다. 특히 Residual 연결, 멀티‑브랜치 구조, 비‑ReLU 활성화, LayerNorm·BatchNorm 등 현대 네트워크에선 활성화 크기가 실제 학습 기여도를 반영하지 못한다는 실험적 증거를 제시한다. 저자들은 뉴런의 “학습 능력(learning capacity)”을 그래디언트 크기로 정의하고, 이를 정규화한 GraMa 지표를 도입한다. GraMa는 각 미니배치에서 역전파 단계에 이미 계산되는 파라미터 그래디언트를 활용해 추가 연산 비용 없이 뉴런별 학습 잠재력을 정량화한다.

핵심 기술적 기여는 다음과 같다. 첫째, GraMa는 활성화 기반 지표와 달리 아키텍처 독립성을 갖는다. Residual 경로를 통한 신호 합성, 브랜치별 기여도 분리, 비선형 활성화 함수(Leaky ReLU, GELU 등)에서도 그래디언트는 파라미터 업데이트에 직접 사용되므로 뉴런의 실제 기여도를 정확히 반영한다. 둘째, GraMa를 이용한 ReGraMa 리셋은 “학습 능력이 낮은” 뉴런만을 선택적으로 초기화한다. 실험에서는 기존 ReDo가 고학습능력 뉴런까지 오버리셋하는 반면, ReGraMa는 오버리셋 비율을 크게 낮추고, 학습 안정성을 향상시킨다. 셋째, GraMa와 ReGraMa는 다양한 RL 알고리즘(SAC, TD3, PPO 등)과 환경(MuJoCo, DMC)에서 일관된 성능 개선을 보인다. 특히 복잡한 시각 입력을 다루는 BR‑O‑net, Diffusion‑based policy(DACER) 등에서는 활성화 기반 지표가 전혀 신호를 잡지 못하는 상황에서도 GraMa가 명확한 비활성 뉴런을 탐지한다.

이론적 분석에서는 그래디언트의 L2 노름이 뉴런 파라미터의 기대 업데이트 크기와 직접 연관됨을 보이며, 활성화 값이 0에 가깝더라도 그래디언트가 큰 경우 학습 가능성이 남아 있음을 증명한다. 또한, GraMa의 통계적 신뢰성을 위해 미니배치 평균, 시간 윈도우 이동 평균 등을 적용해 노이즈를 억제하고, τ‑dormant와 동일한 임계값 구조를 유지함으로써 기존 파이프라인과의 호환성을 확보한다.

전체적으로 이 논문은 “활성화가 아니라 그래디언트”라는 직관적이면서도 실용적인 전환을 통해 딥 RL에서 뉴런 수준의 플라스틱성을 정량화하고, 이를 기반으로 효율적인 리셋 메커니즘을 구현함으로써 지속적 학습과 성능 향상에 기여한다.