모델 불일치 최소화를 위한 앵커링 기법
본 논문은 독립적으로 학습된 두 모델 간 예측 차이인 모델 불일치를 제어하기 위해, 두 모델 평균에 대한 “앵커링” 기법을 도입한다. 이를 통해 스택드 어그리게이션, 그래디언트 부스팅, 신경망 아키텍처 탐색, 고정 깊이 회귀 트리 학습 네 가지 대표 알고리즘에 대해 불일치가 각각 스택 수·부스팅 단계·아키텍처 크기·트리 깊이에 따라 0에 수렴함을 이론적으로 증명한다. 초기 분석은 1차원 회귀와 제곱오차 손실을 기준으로 전개되지만, 강볼록 손실을…
저자: Eric Eaton, Surbhi Goel, Marcel Hussing
본 논문은 머신러닝 모델 간 예측 차이, 즉 “모델 불일치”를 정량적으로 제어하는 새로운 이론적 프레임워크를 제시한다. 모델 불일치를 최소화하는 것은 앙상블 성능 향상, 모델 안정성 확보, 그리고 데이터에 대한 과적합 방지와 같은 실용적 목표와 직결된다. 저자들은 가장 직관적인 정의인 두 독립적으로 학습된 모델 \(f_1, f_2\) 사이의 기대 제곱 차이 \(\mathbb{E}
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기