노이즈가 섞인 데이터의 온라인 커널 학습

초록

본 논문은 평균이 0이고 분산이 제한된, 시간에 따라 변할 수 있는 적대적 잡음이 섞인 데이터에 대해 온라인 학습을 수행하는 방법을 제시한다. 무편향 비선형 함수 추정기를 이용해 임의의 점곱·가우시안 커널 공간과 분석적 볼록 손실 함수에 대해 온라인 그래디언트 하강법의 변형을 설계하고, 각 샘플에 대해 제한된 횟수의 잡음이 섞인 복제본을 요청함으로써 고확률적으로 상수 수준의 쿼리 수를 보장한다. 또한 단일 복제본만 사용할 경우 일반적인 온라인 학습이 불가능함을 증명한다.

상세 분석

이 논문은 온라인 학습 환경에서 입력 데이터가 적대적으로 선택된 랜덤 잡음에 의해 오염되는 상황을 다룬다. 기존 연구들은 잡음이 정규분포를 따르거나 사전 분포가 알려진 경우에만 효율적인 알고리즘을 설계할 수 있었지만, 여기서는 잡음의 분포가 완전히 미지이며 시간에 따라 변할 수 있다는 매우 일반적인 가정을 도입한다. 핵심 아이디어는 “무편향 추정기(unbiased estimator)”를 이용해 비선형 함수, 특히 커널 함수를 정확히 추정하는 것이다. 저자들은 임의의 실함수 f에 대해 E