내부 교란에 강인한 신경망

초록

본 논문은 가중치에 무작위 교란이 가해지는 상황에서 모델이 일반화와 최적화를 동시에 유지하도록 하는 두 가지 기법, Sharpness‑Aware Minimization(SAM)과 Random‑Weight Perturbation(RWP)을 비교·분석한다. 이론적 PAC‑Bayes 경계와 실험을 통해 과도한 RWP(과‑정규화)가 큰 잡음에 대해 더 견고한 최소점을 찾으며, 작은 잡음에서는 SAM이 우수하지만 큰 잡음에서는 그래디언트 소실 현상이 발생한다는 것을 밝힌다. 마지막으로, 훈련 과정에서 교란 강도를 동적으로 조정하면 두 방법 모두 수렴성을 회복하고 아날로그 하드웨어 시뮬레이션에서도 성능이 향상됨을 보인다.

상세 분석

이 논문은 “플랫(minimum) 영역”과 “노이즈 강인성”이라는 두 축을 동시에 만족시키는 최적화 전략을 탐구한다. 먼저 저자는 PAC‑Bayes 프레임워크를 이용해 가중치 잡음이 존재할 때의 일반화 경계를 도출한다. 핵심 식(3)은 훈련 시 적용하는 잡음 표준편차 σ_train이 테스트 잡음 σ_test보다 클 경우, 훈련 손실 기대값은 증가하지만 복잡도 항인 ‖w‖²/σ_train²는 감소한다는 반비례 관계를 보여준다. 따라서 “과‑정규화(over‑regularization)”가 일반화 경계를 더 타이트하게 만든다. 이 이론적 통찰을 검증하기 위해 저자는 ResNet‑18을 CIFAR‑100, Tiny‑ImageNet, ImageNet‑100에 적용하고 σ_train을 다양하게 조절한 RWP 실험을 수행한다. 결과는 σ_train > σ_test 일 때 테스트 정확도가 최고가 되며, 특히 σ_test가 커질수록 과‑정규화 효과가 두드러진다.

SAM에 대해서는 기존 연구와 달리 큰 잡음 영역에서 그래디언트가 급격히 감소하는 “vanishing‑gradient effect”를 발견한다. SAM은 손실 표면의 가장 가파른 방향을 찾아 ρ 반경 내에서 최악의 손실을 최소화하려 하는데, 잡음이 커지면 손실 곡면이 급격히 평탄해져 상승 방향의 그래디언트가 거의 0에 수렴한다. 이때 SAM의 내부 최대화 단계가 의미를 잃어 최적화가 정체된다. 반면 RWP는 무작위 방향으로 잡음을 주입하므로 그래디언트 소실이 덜 심하지만, 잡음 강도가 너무 크면 전체 손실 자체가 크게 변동해 학습이 불안정해진다.

이를 해결하기 위해 저자는 “동적 교란 스케줄(dynamic perturbation schedule)”을 제안한다. 훈련 초기에 작은 σ_train(또는 ρ)으로 시작해 손실이 충분히 감소한 뒤 점진적으로 σ_train을 증가시킨다. 이렇게 하면 초기에는 평탄한 영역을 탐색하면서 안정적인 그래디언트를 확보하고, 후반부에 큰 잡음을 도입해 실제 하드웨어 오류에 대비한 견고한 최소점을 찾는다. 실험 결과, 동적 스케줄을 적용한 SAM과 RWP 모두 정적 설정 대비 테스트 정확도가 평균 1.2~2.5% 상승했으며, 특히 아날로그 인‑메모리 컴퓨팅(AIMC) 시뮬레이션에서 전력·면적 효율성을 유지하면서도 오류에 대한 복원력이 크게 개선되었다.

전체적으로 논문은 (1) 과‑정규화된 RWP가 큰 내부 잡음에 대해 이론적으로 최적임을 증명, (2) SAM이 작은 잡음에서는 우수하지만 큰 잡음에서는 그래디언트 소실 문제를 겪음, (3) 훈련 중 교란 강도를 점진적으로 조절하면 두 방법 모두 수렴성을 회복하고 실제 하드웨어 환경에서도 강인성을 확보한다는 세 가지 주요 결론을 제시한다.