SAM의 잡음 라벨 강인성: 그래디언트 다운가중치 메커니즘

초록

본 논문은 Sharpness‑Aware Minimization(SAM)이 라벨 노이즈에 대해 보이는 강인성을 기존의 “깨끗한 샘플 학습 연장” 설명에 더해, 요소별 그래디언트 수준에서 노이즈 그래디언트를 자동으로 다운가중치하는 메커니즘을 제시한다. 이 현상을 이론적으로 분석하고, 이를 강화한 변형인 SANER를 제안해 CIFAR‑10/100 등에서 기존 SAM·SGD 대비 노이즈 라벨 기억을 크게 억제하고 일반화 성능을 향상시킨다.

상세 분석

논문은 먼저 1‑SAM이라는 변형을 사용해 각 샘플에 대한 개별적인 교란 ϵ_i 를 정의하고, 이를 통해 얻어지는 샘플‑별 그래디언트 ∇ℓ(w+ϵ_i, x_i, y_i) 를 분석한다. 선형 모델을 가정한 이론적 증명에서는 두 개의 동일 클래스 샘플(하나는 정답 라벨, 다른 하나는 라벨이 뒤바뀐 노이즈 샘플)이 미니배치에 포함될 때, 두 샘플이 공유하는 특성 차원 j 에 대해 SAM‑그래디언트와 SGD‑그래디언트의 비율 r_j = g_SAM / g_SGD 가 0 < r_j < 1 임을 보인다. 이는 해당 차원에서 SAM이 그래디언트 크기를 감소시킨다는 의미이며, 특히 노이즈 샘플이 차지하는 그래디언트가 더 크게 감소한다는 점이 핵심이다. 논문은 Lemma 3.1을 통해 σ(z+ C) 와 σ(z− C) 사이의 관계를 이용해 r_j < 1 조건을 만족함을 수학적으로 증명한다. 여기서 C = ρ‖x_i‖ 은 교란 크기이며, 깨끗한 샘플과 노이즈 샘플이 비슷한 예측 신뢰도를 가질 때(즉, |⟨w, x_c⟩| ≈ |⟨w, x_η⟩|) 이 조건이 자연스럽게 성립한다. 직관적으로는 SAM이 교란을 적용하면서 깨끗한 샘플의 그래디언트 변화를 더 크게, 노이즈 샘플의 변화를 더 작게 만들어 전체 미니배치 업데이트에서 노이즈 기여를 억제한다는 것이다. 실험에서는 실제 딥넷(ResNet‑18, WRN‑40‑2, DenseNet‑121)에서 매 업데이트마다 요소별 비율 r_i 를 측정하고, 전체 파라미터 중 35‑45%가 0 < r_i < 1 구간에 속함을 확인한다. 또한, 이 다운가중치된 요소들이 노이즈 샘플의 그래디언트와 높은 코사인 유사도(≈0.7)를 보이며, 다운가중치를 제거한 변형(SGD‑D)은 SAM의 노이즈 억제 효과가 사라짐을 실증한다. 이러한 분석은 SAM이 단순히 학습 속도를 늦추는 것이 아니라, 요소 수준에서 노이즈에 대한 민감도를 자동으로 조절한다는 새로운 관점을 제공한다.