조건 없는 합성 데이터로 망각 방지 파인튜닝

초록

본 논문은 모델의 BOS 토큰만을 입력으로 하여 무조건적인(컨텍스트‑프리) 텍스트를 생성하고, 이를 기존 파인튜닝 데이터와 함께 학습에 활용함으로써 파인튜닝 시 발생하는 재앙적 망각을 효과적으로 완화하는 방법을 제안한다. Olmo‑1B와 R1‑Distill‑Llama‑8B 두 모델에 대해 실험을 수행했으며, 기존 L2 정규화, LoRA, Wise‑FT 등과 비교했을 때 제안 방법이 원본 모델의 제로샷·추론 성능을 크게 유지함을 보였다.

상세 분석

본 연구는 파인튜닝 과정에서 모델 파라미터가 크게 변동하면서 원래 학습된 데이터 분포를 잃게 되는 재앙적 망각 문제를, “조건 없는 합성 데이터(context‑free synthetic data)”를 이용해 완화한다는 핵심 아이디어를 갖는다. 구체적으로, 사전 학습된 모델 θ의 BOS(begin‑of‑sentence) 토큰만을 입력으로 하여 온‑디맨드로 무조건적인 문자열 x를 생성한다. 이는 모델이 자체적으로 정의한 전체 문자열 공간 𝒳에 대한 무조건 확률 p_{θ}(x)를 샘플링하는 과정과 동등하므로, 생성된 텍스트는 원본 모델의 텍스트 분포를 높은 확률로 반영한다.

수학적으로는 파인튜닝 손실 L_F와 KL‑다이버전스 정규화 항을 결합한다.
\