지속적 지시 튜닝을 위한 동적 EMA 가중치와 지시 재사용 프레임워크

초록

본 논문은 대형 모델의 지속적 지시 튜닝(CIT) 과정에서 발생하는 망각 문제를 완화하기 위해 EMA(Exponential Moving Average) 가중치를 동적으로 조정하는 방법을 제안한다. Taylor 전개와 라그랑주 승수를 이용해 최적의 β값을 유도하고, 지시문 간 의미 유사성을 기반으로 파라미터를 그룹화·재사용함으로써 모델 확장 비용을 절감한다. 실험 결과, 제안 방식이 기존 LoRA 기반 튜닝 대비 전반적인 성능과 망각 방지 능력에서 크게 향상됨을 보인다.

상세 분석

본 연구는 지속적 지시 튜닝(CIT)에서 “플라스틱성(새로운 지식 습득)과 안정성(기존 지식 보존)” 사이의 트레이드오프를 정량적으로 분석하고, 이를 해결하기 위한 두 가지 핵심 메커니즘을 제시한다. 첫 번째는 EMA 업데이트에 고정된 가중치 β를 사용하는 기존 방식의 한계를 지적하고, 손실 함수의 2차 테일러 전개를 통해 현재 파라미터 θ와 EMA 파라미터 θ* 사이의 차이를 명시적으로 모델링한다. 손실 차이와 파라미터 변화를 동시에 최소화하는 제약조건을 라그랑주 승수 λ와 결합함으로써, 최적화 문제를 도출하고 ∂F/∂β=0 조건에서 β에 대한 닫힌 형태 해를 얻는다. 최종적으로 βₜ =