라벨 정제의 강인성: 집계가 가져오는 일관성 향상

초록

본 논문은 다중 라벨 집계를 통해 얻은 정제된 라벨이 서브시버 손실 최소화 과정에서 기존 원시 라벨만 사용할 때보다 더 강력한 위험 일관성(consistency)을 제공한다는 이론적 근거를 제시한다. 특히 Fisher 일관성이 깨지는 순위 학습과 같은 사례에서 라벨 집계가 일관성을 회복시키며, 식별 가능한 서브시버 손실을 이용한 일반적인 집계 전략이 제한된 가설 클래스에서도 최적 분류기로 수렴함을 증명한다.

상세 분석

논문은 먼저 전통적인 서브시버 위험 최소화(framework of surrogate risk minimization)의 한계를 짚는다. 기존 이론은 입력‑라벨 쌍 (X,Y)만을 가정하고, 모든 Borel 함수가 허용되는 무한 가설 클래스에서 Fisher 일관성 혹은 더 강한 uniform comparison inequality를 통해 0‑1 손실과 같은 실제 목표 위험과의 연결고리를 만든다. 그러나 실제 데이터 수집 과정에서는 동일 샘플에 대해 다수의 노이즈 라벨이 존재하고, 이를 단순히 평균하거나 다수결로 정제하지 않으면 라벨 자체가 불완전한 신호가 된다. 저자는 라벨 집계 함수 A:Z→A(예: 다수결, K‑nearest neighbor 기반 집계)를 도입하고, 이를 통해 정의된 집계 서브시버 위험 R_{φ,A}(f)=E