도메인 특화 파인튜닝이 일반 능력을 해치지 않는다

초록

본 논문은 대형 언어 모델(LLM)을 도메인 전용 데이터로 지도학습(SFT)할 때 일반 능력 저하가 반드시 발생하는 것이 아니라, 작은 학습률을 사용하면 일반 성능 손실을 크게 줄이면서도 도메인 성능을 유지할 수 있음을 실험과 이론으로 증명한다. 또한 토큰‑적응 손실 재가중치(TALR)라는 새로운 손실 가중치 기법을 제안하고, L2 정규화, LoRA, 모델 평균, FLOW 등 기존 완화 방법들과 비교 실험을 통해 TALR이 전반적인 균형을 가장 잘 맞춘다는 결론을 제시한다. 최종적으로 “작은 학습률 사용 → 필요 시 TALR 적용”이라는 실용적인 가이드라인을 제공한다.

상세 분석

이 연구는 크게 네 가지 핵심 질문에 답한다. 첫째, 도메인‑특화 SFT가 일반 능력을 손상시키는 메커니즘은 무엇인가? 기존 연구들은 대체로 높은 학습률(5e‑6~2e‑5) 하에서 파라미터가 급격히 변하면서 사전 학습된 일반 지식이 망가진다고 주장했다. 저자들은 이를 검증하기 위해 MedCalc(의료)와 ESCI(전자상거래) 두 개의 저성능 도메인 데이터셋에 대해 1e‑6부터 2e‑5까지 다양한 학습률을 적용했다. 결과는 학습률이 작을수록 일반 벤치마크(GSM8K, HumanEval, IFEval)에서의 성능 저하가 현저히 감소하면서도 도메인 정확도는 큰 차이를 보이지 않음을 보여준다. 이는 LLM이 거대한 파라미터 공간에서 작은 업데이트만으로도 새로운 도메인 지식을 충분히 흡수할 수 있음을 시사한다.

둘째, 왜 작은 학습률에도 불구하고 일부 경우에는 여전히 일반 능력 손실이 남는가? 저자들은 이를 “hard token” 현상으로 설명한다. 도메인 데이터에 존재하는 낮은 확률 토큰(예: 전문 용어, 특수 형식)은 손실에 큰 영향을 미쳐 파라미터가 해당 토큰에 과도하게 적응하게 만든다. 이러한 현상을 완화하기 위해 제안된 Token‑Adaptive Loss Reweighting(TALR)은 각 토큰의 학습 난이도를 추정하고, 어려운 토큰에 대한 손실 가중치를 동적으로 낮춘다. TALR은 제한된 최적화 문제를 풀어 닫힌 형태의 가중치를 얻으며, 초기에는 쉬운 토큰에 집중하고 학습이 진행될수록 점차 hard token의 가중치를 회복한다는 커리큘럼‑유사 동작을 보인다.

셋째, TALR이 기존 완화 기법보다 우수한 이유는 무엇인가? L2 정규화와 LoRA는 파라미터 변화 자체를 억제하지만, 손실 자체를 조정하지는 않는다. 모델 평균은 사전 모델과 파인튜닝 모델을 선형 결합해 일반성을 회복하려 하지만, 도메인 성능을 희생한다. FLOW는 샘플 수준에서 손실을 재가중치하지만, 토큰 수준의 미세 조정은 제공하지 않는다. TALR은 토큰 수준에서 직접 손실을 조정함으로써, 도메인 지식 주입과 일반 능력 보존 사이의 미세한 균형을 맞춘다. 실험 결과는 TALR이 모든 평가 지표에서 가장 높은 파레토 최적점을 달성했으며, 특히 hard token 비중이 높은 ESCI‑w/o CoT 상황에서도 일반 성능 저하를 최소화했다.

마지막으로, 이론적 분석은 LLM을 압축기(코드 길이 최소화)로 모델링한다. 두 모델 간의 기대 코드 길이 차이는 KL 발산 차이와 동일하며, 작은 학습률은 KL 발산을 완만하게 감소시켜 기존 지식 손실을 억제한다. TALR은 hard token에 대한 KL 발산을 선택적으로 낮춤으로써, 전체 코드 길이 감소는 유지하면서 특정 토큰에 대한 과도한 적합을 방지한다. 이러한 정보 이론적 시각은 실험 결과와 일치하며, 학습률과 손실 가중치가 LLM의 일반 능력 유지에 미치는 영향을 정량적으로 설명한다.

전반적으로 이 논문은 “학습률 조절 + 토큰‑적응 손실 재가중치”라는 두 단계 전략이 도메인 특화 파인튜닝에서 일반 능력 손실을 최소화하는 가장 실용적인 방법임을 입증한다.