모델 일치를 위한 앵커링 기법

초록

본 논문은 독립적으로 학습된 두 모델의 예측 차이를 제곱 오차로 정의한 ‘모델 불일치’를 제어하기 위한 일반적인 분석 도구인 ‘앵커링’ 기법을 제시한다. 앵커링은 두 모델의 평균을 가상의 기준점으로 삼아 불일치를 상한으로 묶는 방법이며, 이를 통해 스태킹, 그래디언트 부스팅, 신경망 아키텍처 탐색, 고정 깊이 회귀 트리 학습 네 가지 대표 알고리즘에 대해 불일치가 각각 모델 수·반복 횟수·아키텍처 크기·트리 깊이에 따라 0으로 수렴함을 증명한다. 1차원 회귀와 제곱 손실을 기본 설정으로 삼지만, 강볼록 손실을 갖는 다차원 회귀에도 그대로 확장 가능함을 보인다.

상세 요약

논문은 먼저 “모델 불일치”를 (D(f,g)=\mathbb{E}_{(x,y)}