베타다이버전스를 이용한 회귀 신경망 강건 학습

초록

본 논문은 회귀 신경망을 훈련할 때 평균제곱오차(MSE)의 취약성을 극복하고자, β‑다이버전스(밀도 전력 다이버전스)를 기반으로 한 새로운 학습 프레임워크 rRNet을 제안한다. 대체 최적화 방식을 사용해 파라미터와 오류 스케일을 동시에 추정하며, 수렴성, 영향함수 유계성, 50% 붕괴점 등 강건성 이론을 엄밀히 증명한다. 시뮬레이션 및 실제 데이터 실험을 통해 기존 방법 대비 예측 안정성과 정확도가 향상됨을 확인한다.

상세 분석

이 논문은 회귀 신경망(Neural Network, NN)의 학습 손실로 널리 쓰이는 평균제곱오차(MSE)가 외부값(outlier)이나 데이터 오염에 매우 민감하다는 점을 출발점으로 삼는다. 기존의 강건 회귀 기법—예를 들어 L1 손실, 트리밍 기반 방법, M‑추정 등—은 특정 아키텍처에 국한되거나 전역적인 강건성 보장을 제공하지 못한다는 한계를 지적한다. 이러한 문제를 해결하기 위해 저자들은 β‑다이버전스(밀도 전력 다이버전스, DPD)를 활용한다. β‑다이버전스는 β∈