최적 무제한 자기증류를 통한 릿지 회귀 개선과 정확한 비대칭 해석

초록

본 논문은 릿지 회귀에서 교사 모델의 예측을 혼합해 학생 모델을 재학습하는 자기증류(self‑distillation)를, 혼합 가중치 ξ를 0‒1 구간에 제한하지 않는 무제한 설정으로 분석한다. 교사 위험 R(λ)이 비정상적(미분값≠0)인 모든 정규화 파라미터 λ에 대해, 최적 혼합 가중치 ξ⁎(λ)를 구하고 이를 사용한 학생 모델이 교사보다 위험을 엄격히 낮춘다는 것을 증명한다. ξ⁎(λ)의 부호는 R′(λ)의 부호와 반대이며, 과다 정규화 영역에서는 ξ⁎가 음수가 된다. 또한 비례 asymptotics(p,n→∞, p/n→γ) 하에서 일반적인 이방성 공분산과 결정적 신호를 가정한 정확한 결정적 등가식을 제시하고, 이를 바탕으로 한‑샷 튜닝 방법을 제안한다. 실험은 실제 데이터와 사전 학습된 신경망 특징을 이용해 이론을 검증한다.

상세 분석

이 연구는 자기증류를 통계적 관점에서 엄밀히 규정함으로써, 기존 경험적 관찰에 이론적 근거를 제공한다. 핵심 아이디어는 교사 모델인 릿지 회귀 해 ŵ(λ)= (XᵀX+λI)⁻¹Xᵀy 를 그대로 사용하고, 학생 모델을 동일한 설계로 다시 학습하되, 손실 함수에 원본 라벨 y와 교사의 예측 ŷₜ= Xŵ(λ) 를 ξ·ŷₜ + (1−ξ)·y 형태로 혼합한다는 점이다. 여기서 ξ∈ℝ 로 제한을 두지 않아, 과다 정규화(λ 크게) 상황에서는 ξ가 음수가 될 수 있음을 보인다. 논문은 먼저 교사 위험 R(λ)=E‖Xŵ(λ)−Xβ‖² 를 조건부(훈련 데이터 고정)로 분석하고, R′(λ)≠0인 지점에서 학생 위험 R_sd(ξ,λ) 가 R(λ)보다 작다는 엄격한 불평등을 증명한다. 최적 ξ⁎(λ)는 R′(λ)와 교사와 학생 사이의 공분산 구조를 이용해 닫힌 형태로 도출되며, 그 부호 규칙 sign(ξ⁎) = −sign(R′) 가 직관적으로 해석된다. 즉, 교사의 위험이 λ 증가에 따라 감소하면(과소정규화) ξ⁎는 양수이며, 위험이 증가하면(과다정규화) ξ⁎는 음수가 된다.

비례 asymptotics 분석에서는 n,p→∞, p/n→γ∈(0,∞) 를 가정하고, 데이터 행렬 X는 평균 0, 공분산 Σ를 갖는 이방성 구조를 가진다. 기존 2차 결정적 등가식은 트레이스 형태의 1/n·Tr(·) 로 위험을 근사했지만, 자기증류는 교사와 학생 예측의 4차 상호작용을 포함한다. 저자들은 블록 선형화 기법을 도입해 (XᵀX+λI)⁻¹ 와 (XᵀX+λ′I)⁻¹ 사이의 교차항을 4차 정확도로 전개하고, 이를 통해 최적 ξ⁎(λ)와 최적 위험 R_sd⁎(λ)의 정확한 결정적 등가식을 얻는다. 이 결과는 일반적인 고차 순간 분석에 비해 더 정밀한 위험 예측을 가능하게 하며, 특히 신호 β가 결정적이면서 Σ가 비동질적인 경우에도 적용 가능하다.

실용적인 측면에서 논문은 ξ⁎를 직접 추정하는 한‑샷 튜닝 방법을 제안한다. 교사 모델을 한 번 학습한 뒤, 훈련 데이터의 잔차와 교사 예측을 이용해 R′(λ)와 필요한 공분산 통계량을 무편향 추정하고, 이를 식에 대입해 ξ⁎를 계산한다. 이 과정은 추가적인 교차 검증이나 그리드 서치를 필요로 하지 않으며, 대규모 데이터에서도 O(p²) 이하의 복잡도로 수행된다.

실험에서는 UCI 회귀 데이터와 이미지 특징(ResNet‑50, ViT 등) 위에 릿지 회귀를 적용하고, 제안된 ξ⁎ 기반 자기증류가 기존 교사보다 평균 2~5% 위험 감소를 달성함을 보였다. 특히 과다 정규화 영역(λ 큰 경우)에서 ξ⁎가 음수인 상황에서도 위험 감소가 관측되어, 부정적 혼합이 실제로 유용함을 실증한다. 전체적으로 이 논문은 자기증류의 이론적 한계를 넘어, 최적 혼합 가중치의 명시적 해와 고차 정확도 분석을 제공함으로써 통계학, 머신러닝, 그리고 실무 적용 모두에 중요한 통찰을 제공한다.