LoRA 기반 파인튜닝의 재앙적 성능 저하와 해결 방안
📝 원문 정보
- Title:
- ArXiv ID: 2512.22337
- 발행일:
- 저자: Unknown
📝 초록 (Abstract)
파라미터 효율적인 파인튜닝 방법인 LoRA는 소수의 파라미터만 수정하지만 모델에 큰 영향을 미칠 수 있다. 우리의 지시문 튜닝 실험에 따르면, LoRA 기반 감독 파인튜닝은 매우 작은 데이터셋과 비교적 짧은 학습 단계에서도 모델 능력을 급격히 저하시킨다. 그러나 가장 직관적인 접근법(실제 현장에서 가장 많이 사용되는 방식)이 크게 실패하는 반면, 훈련 절차에 약간의 변형을 가하고 거의 비용을 추가하지 않으면 이 문제를 거의 완전히 없앨 수 있음을 보여준다. 구체적으로, 초기 모델과의 KL 발산을 페널티로 부과하고, 사전 학습에 사용된 코퍼스와 유사하지만 다른 공개 코퍼스의 다음 토큰 예측 데이터를 교차 삽입하는 정규화된 근사 재생(approximate replay) 방식을 고려한다. 이 방식을 Qwen 지시문 튜닝 모델에 적용했을 때, 일반 지식은 유지하면서 새로운 과제에 대한 적응력(플라스티시티)은 저해되지 않으며, 계산 오버헤드도 크게 증가하지 않는다.💡 논문 핵심 해설 (Deep Analysis)
LoRA(Low‑Rank Adaptation)는 대규모 언어 모델을 파라미터 효율적으로 미세조정하기 위해 도입된 기법으로, 전체 모델 파라미터를 고정하고 소수의 저차원 매트릭스만 학습한다. 이론적으로는 파라미터 수를 크게 줄이면서도 특정 작업에 대한 성능을 향상시킬 수 있다는 기대가 있다. 그러나 본 논문은 LoRA 기반 감독 파인튜닝이 실제로는 모델의 기존 지식, 특히 사전 학습 단계에서 습득한 일반적인 언어 이해 능력을 급격히 손상시킬 수 있음을 실험적으로 입증한다. 특히, 데이터 양이 극히 제한적이거나 학습 스텝이 짧은 상황에서도 “catastrophic forgetting”(재앙적 망각) 현상이 발생한다는 점은 기존 연구에서 간과된 중요한 위험 요소이다.문제의 근본 원인은 두 가지로 해석할 수 있다. 첫째, LoRA가 추가하는 저차원 파라미터가 기존 모델의 출력 분포를 크게 변형시켜, 사전 학습 시 학습된 확률 분포와 크게 차이 나는 새로운 분포를 만든다. 둘째, 기존 파라미터는 고정된 채 새로운 데이터에만 과도하게 최적화되면서, 원래의 일반 지식이 KL 발산 형태로 손실된다. 이러한 현상은 특히 “instruction‑tuning”처럼 다양한 프롬프트와 태스크를 포괄하는 다목적 모델에 치명적이다. 모델이 새로운 명령어에 맞춰 과도하게 재조정되면, 사전 학습 단계에서 형성된 언어 구조와 세계 지식이 퇴색한다.
이를 해결하기 위해 저자들은 두 가지 핵심 아이디어를 결합한 “정규화된 근사 재생(regularized approximate replay)” 방식을 제안한다. 첫 번째는 초기 모델과 현재 모델 사이의 KL 발산을 손실 함수에 추가하여, 파라미터 업데이트가 기존 확률 분포를 크게 벗어나지 않도록 제약한다. 이는 기존 지식을 보존하면서 새로운 태스크에 대한 적응을 가능하게 하는 일종의 “soft‑regularization”이다. 두 번째는 사전 학습에 사용된 코퍼스와 유사하지만 다른 공개 코퍼스(예: 위키피디아, 오픈 웹 텍스트 등)에서 추출한 다음 토큰 예측 데이터를 학습 과정에 교차 삽입한다. 이 데이터는 실제 파인튜닝 데이터와는 별개의 “리플레이” 샘플로 작용해, 모델이 새로운 태스크를 학습하면서도 일반 언어 모델링 능력을 지속적으로 연습하도록 만든다.
실험에서는 Qwen 계열의 instruction‑tuned 모델에 이 방식을 적용했으며, 결과는 두드러졌다. 기존 LoRA 파인튜닝만 사용했을 때 관찰된 성능 저하가 거의 사라졌고, 동시에 새로운 태스크에 대한 적응력(플라스티시티)은 유지되었다. 계산 측면에서도 KL 페널티와 추가 데이터 로딩이 큰 오버헤드를 발생시키지 않아, 실무 적용 가능성이 높다. 즉, 약간의 정규화와 데이터 재생을 결합함으로써 “파라미터 효율성”과 “지식 보존” 사이의 트레이드오프를 효과적으로 완화할 수 있다.
이 연구는 파라미터 효율적인 미세조정 기법이 대규모 언어 모델에 적용될 때 반드시 고려해야 할 “지식 망각” 문제를 명확히 제시하고, 실용적인 해결책을 제공한다는 점에서 의미가 크다. 앞으로는 다양한 모델 아키텍처와 데이터 도메인에 대해 이 접근법을 확장하고, KL 정규화 강도와 재생 데이터 비율을 자동으로 최적화하는 메타‑학습 기법을 탐구하는 것이 자연스러운 다음 단계가 될 것이다.