프리트레인 모델 규모가 커질수록 목표 샘플 복잡도가 감소한다는 이론적 증명

초록

**
본 논문은 “caulking”이라는 새로운 프레임워크를 도입해, 대규모 프리트레인 모델이 하위 작업의 샘플 복잡도를 어떻게 감소시키는지를 이론적으로 설명한다. 프리트레인 모델이 caulkable(즉, 적절한 어댑터를 삽입하면 목표 함수에 근접할 수 있음)이라는 속성을 가질 때, 어댑터의 복잡도가 모델 규모와 함께 감소한다면 목표 샘플 수 (n)에 대한 학습 오류가 (\mathcal{O}(n^{-\beta})) 형태로 개선된다. 이는 기존의 (\mathcal{O}(m^{-\alpha}+n^{-\beta})) 형태와 달리, 소스 샘플 크기 (m)이 커질수록 실제로 목표 샘플 복잡도가 낮아지는 현상을 정량화한다. 실험적으로 CNN과 비전‑LLM 결합에서 큰 프리트레인 모델이 얕은 어댑터만으로도 높은 성능을 달성함을 보여, PEFT 기법과의 연관성을 강조한다.

**

상세 분석

**
이 논문은 최근 경험적으로 관찰된 “프리트레인 모델 규모와 다운스트림 샘플 효율성 사이의 스케일링 법칙”을 이론적으로 뒷받침하기 위해 caulking이라는 개념을 제안한다. caulking은 기존 파라미터 효율적 파인튜닝(PEFT) 방법—예를 들어 어댑터, LoRA, 부분 파인튜닝—을 일반화한 프레임워크로, 프리트레인 모델을 헤드 모델 (g_h)와 피처 추출기 (g_e)로 분리하고, 이 사이에 어댑터 (g_a)를 삽입함으로써 목표 함수 (f^)를 근사한다. 핵심 가정은 caulkability: 즉, 어떤 작은 오차 (\epsilon) 안에서 (f^ \approx g_h \circ g_a \circ g_e)가 성립한다는 것이다.

이 가정 하에 저자들은 empirical caulking 알고리즘을 정의한다. 목표 데이터 ({(X_i,Y_i)}_{i=1}^n)에 대해, 어댑터 후보 집합 (G_n)를 정하고, (F_n = {g_h \circ g_a \circ g_e \mid g_a \in G_n})에 제한된 최소제곱 추정량을 구한다. 이 제한된 함수 공간 덕분에 일반화 오차는 두 부분으로 나뉜다. 첫 번째는 어댑터 복잡도에 비례하는 항이며, 두 번째는 목표 샘플 수 (n)에 대한 전통적인 통계적 수렴률 (\mathcal{O}(n^{-\beta}))이다.

특히, 논문은 어댑터 복잡도는 프리트레인 모델 규모 (m)에 따라 감소한다는 가정을 추가한다. 즉, 더 큰 소스 데이터로 학습된 프리트레인 모델은 더 풍부한 표현을 제공하므로, 목표 도메인에 맞추기 위해 필요한 변환(어댑터)의 자유도가 줄어든다. 이를 수학적으로 ( \text{depth}(g_a(m)) \to 0) as (m \to \infty) 로 표현한다. 결과적으로 전체 오류는

\