라벨노이즈와 적대적 공격을 동시에 방어하는 통합 강건 신경망 학습

본 논문은 현대 인공지능 시스템에서 신경망 학습이 라벨 노이즈와 적대적 교란이라는 두 가지 주요 데이터 오염에 매우 민감하다는 문제점을 지적한다. 기존의 교차 엔트로피(Categorical Cross‑Entropy, CCE) 손실은 다항 모델 하에서 최대우도 추정에 해당하지만, 이는 오염된 관측치에 대해 과도하게 민감해 잘못된 라벨이나 적대적 변형이 존재할 경우 모델이 이를 그대로 학습해 일반화 성능이 급격히 저하된다. 이에 저자들은 신경망 분류를 최소 다이버전스 추정(MDE) 프레임워크로 재구성한다. MDE는 경험적 분포와 파라메트릭 모델 분포 사이의 다이버전스를 최소화함으로써 파라미터를 추정하는 일반적인 방법이며, 다이버전스 선택에 따라 견고성, 효율성 등 다양한 통계적 특성을 조절할 수 있다. 특히, S‑다이버전스(S‑Divergence)라는 두 파라미터(β≥0, λ∈ℝ)로 정의되는 광범위한 다이버전스 군을 채택한다. β는 이상치에 대한 영향력을 제어하고, λ는 1차 효율성을 유지하면서 고차원적인 견고성을 조절한다. S‑다이버전스는 β‑다이버전스(β‑Divergence)와 Cressie‑Read 파워 다이버전스(Power Divergence)를 포함하는 일반화된 형태이며, 파라미터 (β, λ) 가 특정 영역 T( A>0, B>0 )에 있을 때 강건성을 보장한다. 이 영역은 Kullback‑Leibler 다이버전스(β=0, λ=0)와 역 KLD(β=0, λ=−1)를 제외한다. 따라서 rSDNet은 기존 CCE와는 다른, 데이터 오염에 대해 자동으로 가중치를 낮추는 손실 함수를 제공한다. 수식적으로, 각 샘플 (x_i, y_i)에 대해 S‑다이버전스 손실 ℓ_{β,λ}(y_i, p(x_i;θ)) 은 ℓ_{β,λ}(u,p)= (1/A)∑_{j=1}^J