생성 언어 모델을 위한 우아한 망각: LWF 프레임워크

초록

본 논문은 사전학습‑미세조정 패러다임에서 발생하는 부정적 전이(negative transfer)를 완화하기 위해, 생성형 언어 모델에 특화된 “Graceful Forgetting”(우아한 망각) 기법을 제안한다. Fisher Information Matrix(FIM)로 파라미터 업데이트를 가중치화하고, 자체 생성 텍스트를 활용해 “망각 신뢰도”(forgetting confidence)를 계산한다. 신뢰도가 높은 데이터는 주기적으로 언러닝(unlearning)되어 모델의 학습 플라스틱성을 높이며, 질문‑응답 벤치마크에서 기존 미세조정 대비 성능 향상을 입증한다.

상세 분석

본 연구는 사전학습된 대규모 언어 모델이 모든 사전 지식을 동일하게 보존하는 것이 오히려 다운스트림 과제에 해를 끼칠 수 있다는 부정적 전이 문제를 지적한다. 기존의 “우아한 망각” 접근법은 주로 비자율적 모델이나 비전 분야에 적용돼 왔으며, 생성형 언어 모델에서는 지식 경계가 모호하고 파라미터 구조가 복잡해 직접 적용이 어려웠다. 이를 해결하기 위해 저자들은 세 가지 핵심 모듈로 구성된 LWF(Learning With Forgetting) 프레임워크를 설계하였다.

1. 자기 지식 이끌어내기 (Self‑Knowledge Elicitation)
   사전학습 데이터에 접근할 수 없는 현실을 고려해, 목표 망각 과제 (D_F) 의 프롬프트를 베이스 모델에 입력하고 모델이 생성한 텍스트 (D_{self}) 를 망각 대상 지식의 대리표본으로 사용한다. 이 과정은 라벨이 없는 데이터에도 적용 가능하며, 생성 모델 고유의 “내재된 지식”을 직접적으로 추출한다는 점에서 혁신적이다.

2. 망각 신뢰도 평가 (Forgetting Confidence)
   각 (x \in D_{self}) 에 대해, 해당 샘플이 학습 과제 (D_L) 와 얼마나 충돌하는지를 정량화한다. 저자들은 베이즈 관점에서 (P(D_L|x)) 를 근사하기 위해 파라미터 (\theta^(x)=\arg\max_\theta P(\theta|x)) 를 도출하고, 이를 다시 (P(\theta^(x)|D_L)) 와 연결한다. 최종 신뢰도는 (-\log P(\theta^(x)|D_L)) 로 정의되며, 이는 파라미터 업데이트 방향과 (D_L) 의 최적 파라미터 (\theta^_L) 간의 불일치를 측정한다. 여기서 Fisher Information Matrix (F_L) 가 가중치 역할을 수행해, 각 파라미터의 중요도를 반영한다. 실제 구현에서는 1‑step gradient 업데이트와 (\alpha) 스케일링을 이용해 계산 비용을 크게 절감한다.

3. 주기적 언러닝 (Periodic Unlearning)
   신뢰도가 높은 상위 (1/N_u) 비율의 샘플을 (D_U) 로 선정하고, 기존 학습 배치에 (D_U) 의 샘플을 (N_u) 스텝마다 삽입한다. 언러닝은 손실 함수에 부정적인 가중치 (\beta) 를 곱한 Gradient Ascent 형태로 수행되며, 이는 기존 파라미터를 역방향으로 이동시켜 선택된 지식을 “지우는” 역할을 한다. 주기적 삽입은 언러닝 과정에서 발생할 수 있는 불안정성을 완화하고, 학습‑망각 간의 균형을 유지한다.

실험에서는 Llama 3.2‑1B 모델을 기반으로 다섯 개의 도메인‑특화 QA 데이터셋(gsm8k, QASC, SST‑5, Dental, Psychol)에서 LWF를 적용했다. 베이스라인인 일반 미세조정 대비, 각 도메인에서 평균 ≈ 3‑10% 정도의 정확도 향상이 관찰되었으며, 특히 “mixed” 설정(모든 다른 도메인을 망각)에서 가장 큰 개선을 보였다. 기존 망각 기법(BSS, SRS)은 생성 모델에 적용했을 때 효과가 미미했지만, LWF는 FIM 기반 가중치와 데이터‑레벨 신뢰도 평가 덕분에 일관된 성능 향상을 달성했다.

한계점으로는 (1) Fisher 정보의 근사 정확도가 모델 규모가 커질수록 감소할 가능성, (2) 신뢰도 계산이 여전히 샘플‑레벨에서 근사적이며 완전한 지식 경계 식별이 어려움, (3) 주기적 언러닝 파라미터 (N_u, \beta) 에 대한 민감도가 높아 실제 서비스 적용 시 튜닝 비용이 발생한다는 점을 들 수 있다. 향후 연구는 더 정교한 영향 함수 기반 신뢰도, 다중 과제 동시 망각, 그리고 대규모 모델에서의 효율적 FIM 추정 방법을 탐색할 필요가 있다.