스마트 주의 집중으로 빠른 학습

초록

본 논문은 마진 기반 온라인 학습에서 모든 특성을 일일이 계산하는 대신, “쉽게 분류되는” 샘플에 대해 조기에 특성 계산을 중단하는 방법을 제안한다. 순차 분석과 브라운 운동 이론을 이용해 결정 오류율을 제어하는 ‘Constant Sequential Thresholded Sum Test’를 설계하고, 이를 Pegasos 알고리즘에 적용해 평균 O(√n)개의 특성만으로도 원래 정확도를 유지한다. MNIST 실험을 통해 계산량이 크게 감소함을 입증한다.

상세 분석

이 논문은 마진 기반 온라인 학습기의 계산 복잡도를 근본적으로 낮추는 새로운 “주의(attention)” 메커니즘을 제시한다. 핵심 아이디어는 각 샘플에 대해 전체 특성을 모두 사용해 마진을 계산하기 전에, 현재까지 누적된 부분 마진(partial margin)이 충분히 큰 경우(즉, 전체 마진이 임계값 θ 이하가 될 가능성이 거의 없는 경우) 즉시 평가를 중단하고 해당 샘플을 버리는 것이다. 이를 위해 저자들은 순차 분석(sequential analysis)과 브라운 운동(Brownian bridge) 이론을 차용해, 부분 합이 특정 경계 τ_i 를 초과했을 때 “stop” 이벤트가 발생하도록 하는 확률적 경계 함수를 도출한다.

논문에서 정의한 Constant Sequential Thresholded Sum Test (Constant STST)는 다음과 같은 절차를 따른다. 먼저 가중치 w_i와 제한된 범위