PAC‑베이즈 학습의 온도와 경계: 통계학습의 새로운 시각
본 논문은 PAC‑베이즈 프레임워크를 통계역학과 정보이론의 도구와 결합하여, 분류 모델의 복잡도를 상대 엔트로피와 유효 온도 개념으로 정량화한다. 로컬·리라티브 경계를 통해 마멘‑티소바코프 마진 가정을 대체하고, 전이학습(트랜스덕티브) 설정까지 일반화한다. 또한 서포트 벡터 머신의 일반화 경계를 지원 벡터 수와 마진을 이용해 제시한다.
저자: ** David McAllester (PAC‑Bayesian 개념 창시자) – *원 논문에 직접적인 저자 언급은 없으나, 이론적 기반을 제공* Vladimir Vapnik (통계학습 이론, SRM) – *전이적 학습 및 VC 차원 관련 아이디어 제공* (본 단행본의 실제 저자는 명시되지 않았으나
본 논문은 PAC‑베이즈 접근법을 기반으로, 통계역학과 정보이론의 개념을 결합하여 적응형 지도 학습(classification) 이론을 전개한다. 서두에서 저자는 학습 데이터 (X_i, Y_i) 가 독립이지만 반드시 동일분포일 필요는 없으며, 이를 일반적인 확률 공간 (X×Y)^N 에서 정의된 확률 측도 P 로 모델링한다. 학습 목표는 기대 오류 R(θ)=E
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기