전이학습에서 보조 데이터가 일반화 오류를 감소시키는 조건과 최적 가중치 설계

본 논문은 전이학습에서 보조 데이터가 메인 작업의 일반화 성능을 향상시키는 메커니즘을 선형 회귀와 선형 신경망이라는 두 가지 대표적인 선형 모델을 통해 심층적으로 분석한다. **1. 문제 설정 및 기본 가정** - 데이터는 공유 피처 행렬 X∈ℝ^{N×d}와 메인 라벨 Y_m, K개의 보조 라벨 Y_k 로 구성된다. - X의 각 행은 평균 0, 공분산 Σₓ (‖Σₓ‖=1, 최소 고유값>0)를 갖는 정규분포에서 독립적으로 샘플링된다. - 라벨은 선형 모델 Y_t = X w*_t + ε_t 로 생성되며, ε_t는 평균 0, 분산 σ_t²인 정규 잡음이다. - N>d+1 (선형 회귀) 혹은 N>d+3 (선형 신경망) 이며, K+1≪d 로 가정한다. **2. 선형 회귀 분석** - 목표는 가중합 손실 L(w)=‖Xw−Y_m‖²+∑_{k=1}^K λ_k‖Xw−Y_k‖² 를 최소화하는 ˆw_D 를 구하는 것이다. - 해는 ˆw_D = (1+Λ)^{-1}(XᵀX)^{-1}Xᵀ(Y_m+∑λ_k Y_k) 로, 각 작업의 OLS 해의 가중 평균 형태임을 보인다(식 2). - 기대 일반화 오류 E_K = E_{D,(x,y_m)}