좋은 GRACE로 교사 선택하기 원칙적 지식 증류 방법

초록

GRACE는 학생 모델의 그래디언트 분포를 이용해 교사 언어 모델의 증류 적합성을 점수화하는 경량 지표이다. 테스트 데이터나 교사 로짓 없이도 계산 가능하며, GSM8K·MATH에서 학생 성능과 최대 86%의 스피어만 상관관계를 보인다. GRACE를 이용해 교사를 선택하면 기존 최선 교사 대비 7.4%까지 정확도가 향상되고, 온도, 모델 크기, 모델군 선택 등 실용적인 설계 가이드를 제공한다.

상세 분석

본 논문은 대규모 교사 모델을 활용한 언어 모델 증류에서 “어떤 교사가 특정 학생·태스크에 가장 적합한가?”라는 실질적 문제를 다룬다. 기존 접근법은 교사 모델을 여러 개 후보로 선정한 뒤, 각각으로 데이터를 생성하고 학생을 학습시켜 성능을 비교하는 일종의 ‘guess‑and‑check’ 방식이다. 이는 데이터 생성 비용과 학생 학습 비용이 모두 크게 소모되는 비효율적인 절차이며, 특히 온도와 같은 하이퍼파라미터가 결과에 미치는 영향이 커서 반복 실험이 필수적이다.

GRACE(Gradient Cross‑validation Evaluation)는 이러한 문제를 해결하기 위해 학생 모델의 그래디언트 정보를 활용한다. 핵심 아이디어는 교사가 생성한 텍스트에 대해 사전 학습된 학생 모델이 계산한 그래디언트를 두 단계로 처리한다는 점이다. 첫째, 고차원 파라미터 공간을 ±1/√D 로 구성된 랜덤 사인 행렬 Π 로 저차원(d)으로 투사한다. 이는 메모리와 연산량을 크게 절감하면서도 방향 정보를 보존한다. 둘째, 응답 길이 |y| 에 대한 로그 스케일링을 적용해 짧은 시퀀스가 과도히 큰 그래디언트를 갖는 현상을 보정한다. 이렇게 얻어진 h(x,y)=log(|y|)·Πg(x,y) 를 기반으로 전체 데이터셋 D 에 대해 평균 µ(D)와 공분산 Σ(D)를 계산한다.

GRACE는 데이터셋을 C개의 파티션으로 나눈 뒤, 각 파티션 i에 대해 나머지 파티션 D_{‑i} 의 정규화된 공분산 ˆΣ(D_{‑i}) 의 역제곱근을 프리컨디셔너로 사용한다. 그런 다음 파티션 i 에 속한 각 샘플의 그래디언트를 ˆΣ(D_{‑i})^{‑1/2} 로 가중한 뒤 제곱 노름을 평균한다. 수식적으로는

GRACE(D)= (1/C) Σ_i Tr