지식증류 코드모델, 교사를 얼마나 깊게 모방할까

초록

본 논문은 코드 전용 대형 언어모델을 지식증류로 압축한 소형 학생 모델이 교사 모델의 예측 행동과 내부 표현을 얼마나 충실히 재현하는지 메타모픽 테스트(MetaCompress)를 통해 평가한다. 기존 정확도 기반 평가는 놓치기 쉬운 행동 차이를 적대적 공격 실험과 네 가지 변형 관계(MR)로 드러내며, 학생 모델이 교사 대비 최대 285 % 더 큰 성능 저하와 62 % 수준의 행동 불일치를 보임을 확인한다.

상세 분석

MetaCompress는 메타모픽 테스트(MT)의 개념을 차용해, 동일 입력에 대해 교사와 학생 모델이 출력해야 할 일관성을 정의하는 네 가지 변형 관계(MR)를 설계한다. 첫 번째 MR은 예측 라벨 일치 여부를 검사하고, 두 번째는 확률 분포의 KL‑다이버전스가 일정 임계값 이하인지 확인한다. 세 번째 MR은 상위‑하위 클래스 순위가 보존되는지를 평가하며, 네 번째 MR은 모델 출력의 캘리브레이션(예측 신뢰도) 일관성을 측정한다. 이러한 MR들은 코드의 의미를 보존하면서도 식별자 이름 변경, 코드 포맷 변환 등 실제 개발 환경에서 흔히 발생하는 변형을 반영한다.

실험에서는 CodeBERT와 GraphCodeBERT를 교사 모델로 삼고, Compressor, AVATAR, MORPH 세 가지 최신 지식증류 기법으로 만든 학생 모델을 대상으로 두 가지 대표 작업(코드 복제 탐지, 취약점 예측)을 수행한다. 정확도 기반 평가는 학생 모델이 교사와 거의 동등한 성능을 보였지만, 적대적 공격(식별자 재명명, 의미 보존 변환) 하에서는 평균 285 % 더 큰 성능 저하를 나타냈다. 이는 학생 모델이 교사의 미세한 의사결정 패턴을 충분히 학습하지 못했음을 의미한다.

MetaCompress 적용 결과, 네 가지 MR 중 최소 하나라도 위배되는 경우가 전체 테스트의 62 %에 달했으며, 특히 확률 분포 일관성을 평가하는 MR에서 가장 큰 차이가 관찰되었다. 이는 지식증류 과정에서 소프트 타깃(soft targets)이나 로짓 정규화가 충분히 전달되지 않아 내부 표현이 왜곡될 가능성을 시사한다. 또한, 세 가지 증류 기법 간 차이를 분석했을 때, Compressor가 가장 높은 압축률을 보였지만 행동 불일치 비율도 가장 높았으며, MORPH는 상대적으로 안정적인 행동 일치를 유지했다.

이 연구는 기존의 “정확도 = 품질” 패러다임을 비판하고, 모델 압축 후에도 교사의 행동을 정량적으로 검증할 필요성을 강조한다. 메타모픽 테스트는 오라클이 존재하지 않는 상황에서도 모델 간 일관성을 검증할 수 있는 실용적인 방법으로, 향후 지식증류 파이프라인에 자동화된 검증 단계로 통합될 여지가 크다. 또한, 행동 불일치를 최소화하기 위한 증류 손실 설계(예: KL‑다이버전스 가중치 조정, 내부 레이어 정규화)와 같은 연구 방향을 제시한다.