불신 데이터에서도 배우기: 리스트 디코딩과 반검증 학습의 새로운 이론

본 논문은 머신러닝·통계학에서 흔히 가정하는 “데이터가 실제 현상을 잘 반영한다”는 전제에 반하여, 데이터의 상당 부분이 악의적이거나 편향될 수 있는 상황을 체계적으로 연구한다. 이를 위해 두 가지 새로운 학습 모델을 제시한다. 첫 번째는 리스트‑디코딩(list‑decodable) 학습 모델이다. 여기서는 전체 n개의 샘플 중 α n개만이 목표 분포 p*에서 독립적으로 추출된다고 가정하고, 나머지 (1 − α)n개는 전혀 제한이 없는 임의의 데이터(또는 적대적 공격자에 의해 생성된 데이터)일 수 있다. 목표는 “짧은 리스트”를 출력하는 것으로, 리스트의 크기는 poly(1/α)이며, 리스트 안에 최소 하나는 ε‑정확도를 만족하는 해가 포함된다. 이 모델은 α < ½, 즉 정직 데이터가 전체의 절반보다 적은 경우에도 학습이 완전히 불가능하지 않다는 점을 강조한다. 저자들은 악의적 데이터가 과도하게 편향하려 하면 그 구조가 정직 데이터와 크게 달라지므로, 고차원 공간에서 스펙트럴 특성을 이용해 이를 구분·제거할 수 있음을 보인다. 핵심 기술은 새로운 행렬 집중 부등식(프로포지션 1.1)이다. 이 부등식은 “좋은” 샘플 집합 I⊆