다중 과제 학습의 점근적 행동: 암묵적 정규화와 이중 하강 현상

초록

본 논문은 다중 과제 학습에서 여러 관련 과제를 결합했을 때 발생하는 점근적 정규화 효과와 이중 하강(double descent) 현상의 변화를 정확히 분석한다. 고차원 가우시안 입력과 공유 파라미터 구조를 가정하고, CGMT(복합 가우시안 최소-최대 정리)를 확장한 다변량 버전을 이용해 일반적인 손실 함수(제곱 손실·로지스틱 손실) 하에서 일반화 오차의 극한 형태를 도출한다. 결과적으로 다중 과제 결합은 전통적인 단일 과제 학습에 암묵적인 정규화 항을 추가하는 것과 동등함을 보이며, 과제 수가 늘어날수록 인터폴레이션 임계점이 오른쪽으로 이동하고 이중 하강 현상이 완화된다.

상세 분석

본 연구는 먼저 다중 과제 학습 모델을 수식 (4)와 같이 정의한다. 각 과제 t는 숨겨진 파라미터 ξₜ = σvₜ + v₀ 로 표현되며, σ는 과제 간 유사성을 조절하는 스칼라이다. ρ = 1/(1+σ²) 로 정의된 유사도는 0~1 사이 값을 갖고, ρ가 1에 가까울수록 과제들이 거의 동일한 구조를 공유한다는 의미다. 입력 벡터 aₜ,ᵢ는 고차원 가우시안이며, 학습 시에는 k개의 좌표만 관측한다는 부분 관측 설정을 채택한다.

핵심 이론적 도구는 복합 가우시안 최소-최대 정리(CGMT)의 다변량 확장이다. 기존 CGMT는 단일 블록의 가우시안 행렬에만 적용 가능했지만, 여기서는 블록 대각선 형태(각 과제마다 독립적인 가우시안 블록)로 구성된 행렬에 대해 정리를 적용한다. 이를 통해 원래의 확률적 최적화 문제를 저차원 결정론적 최적화 문제로 변환하고, 일반화 오차가 p→∞ 일 때 확률적으로 수렴함을 보인다.

분석 결과는 두 가지 주요 형태로 제시된다. 첫째, 다중 과제 결합은 전통적인 단일 과제 손실에 추가적인 ℓ₂ 정규화 항 γ₁‖wₜ‖²와 평균 모델과의 차이를 억제하는 γ₂‖wₜ−\bar w‖²를 자동으로 생성한다는 점이다. 이 정규화 항은 과제 간 유사도 ρ와 직접 연관되며, ρ가 클수록 정규화 강도가 약해져 과제 간 정보 공유가 효율적으로 이루어진다. 둘째, 일반화 오차의 극한식은 κₜ = k/nₜ (관측된 차원 비율)와 αₜ = p/nₜ (전체 차원 비율)이라는 두 비율에 의존한다. 특히, κₜ가 αₜ에 근접할 때(즉, 관측 차원이 전체 차원에 비해 충분히 클 때) 인터폴레이션 임계점이 발생하고, 그 이후에 이중 하강 곡선이 나타난다. 중요한 점은 과제 수 T가 증가하면 이 임계점이 κₜ·T 형태로 오른쪽으로 이동해, 동일한 샘플 수·차원 비율에서도 과제 결합이 오버피팅을 늦추는 효과를 만든다.

실험에서는 회귀(제곱 손실)와 이진 분류(로지스틱 손실) 두 모델을 대상으로 시뮬레이션을 수행하였다. 그림 1에서 보듯이, T=1일 때는 전통적인 이중 하강 곡선이 명확히 나타나지만, T를 5, 10 등으로 늘리면 피크가 점점 완만해지고 최종 일반화 오차가 크게 감소한다. 이는 이론적 예측과 거의 일치한다. 또한, γ₂>0인 경우(다중 과제 정규화 적용)와 γ₂=0인 경우(전통적 단일 과제) 사이의 차이를 비교했을 때, 전자는 추가적인 정규화 효과로 인해 피크 높이가 현저히 낮아짐을 확인했다.

결론적으로, 본 논문은 (i) 다중 과제 학습이 암묵적인 정규화 메커니즘을 제공한다는 점, (ii) 이 정규화가 과제 간 유사도와 과제 수에 따라 조절되며, (iii) 다중 과제 결합이 이중 하강 현상의 임계점을 오른쪽으로 이동시켜 실질적인 일반화 향상을 가져온다는 점을 고차원 점근적 분석을 통해 명확히 증명하였다. 이러한 결과는 실무에서 다중 과제 학습을 설계할 때 정규화 파라미터와 과제 선택 전략을 이론적으로 뒷받침해준다.