노이즈에 강한 위험 최소화 방법 탐구

초록

본 논문은 라벨 노이즈가 특징 벡터에 따라 달라지는 일반적인 상황을 가정하고, 다양한 손실 함수에 대한 위험 최소화(Risk Minimization)의 노이즈 내성(Noise Tolerance)을 이론적으로 분석한다. 0‑1 손실은 균일 노이즈와 완전 분류 가능한 경우에 내성을 보이며, 제곱오차 손실은 균일 노이즈에만 내성을 가진다. 지수·힌지·절대값 등 다른 손실 함수들은 일반적으로 노이즈에 취약함을 증명한다.

상세 분석

논문은 먼저 “노이즈 내성”이라는 개념을 정의한다. 이상적인 무노이즈 데이터 집합이 존재한다 가정하고, 실제 학습 데이터는 각 샘플의 라벨이 확률 η(x) 로 뒤집힌 형태이다. 위험 최소화는 손실 함수 L(f(x),y) 의 기대값 R(f)=E