파라미터 효율적 파인튜닝과 일관성 정규화를 결합한 일반화 향상 기법

초록

본 논문은 파라미터 효율적 파인튜닝(PEFT)에서 일반화 성능이 저하되는 문제를 이론적으로 분석하고, 가중치 그래디언트 크기와 데이터 양이 일반화에 미치는 영향을 규명한다. 이를 바탕으로 어댑터 가중치에 멀티플리케이티브 노이즈를 가하고, 동일 입력에 대해 서로 다른 노이즈 하에서 모델 출력을 일관되게 유지하도록 하는 일관성 정규화 손실을 도입한다. 제안된 PACE 방법은 그래디언트 크기를 자연스럽게 억제하면서 사전학습 모델과의 출력 정렬을 촉진해 지식 보존을 가능하게 하며, 다양한 비전·텍스트 벤치마크에서 기존 PEFT 기법들을 능가한다.

상세 분석

본 연구는 먼저 PEFT가 사전학습된 대규모 트랜스포머를 소수의 파라미터만 조정해 다양한 다운스트림 작업에 적용할 수 있게 하는 장점을 강조한다. 그러나 기존 PEFT는 목표 성능을 최적화하는 과정에서 모델이 사전학습 단계에서 습득한 일반화 능력을 손상시킬 위험이 있다. 이를 해결하기 위해 저자들은 일반화 이론의 핵심 결과를 차용한다. Lemma 1과 Theorem 1은 가중치에 작은 섭동을 가했을 때 경험 손실이 크게 증가하지 않으면 인구 손실도 낮게 유지된다는 것을 보이며, 특히 그래디언트 ‖∇θ‖₂와 Hessian의 최대 고유값 λₘₐₓ이 작을수록 일반화가 향상된다고 제시한다. 여기서 그래디언트 크기 감소는 학습 데이터 양 n이 커질수록 더 효과적이며, 과도한 감소는 표현력을 저해할 수 있음을 경고한다.

다음으로 저자들은 “프리트레인‑파인튜닝 출력 거리(FP‑distance)”를 최소화하는 단순 정렬 방식이 그래디언트 크기를 보장하지 못하고, 경우에 따라 그래디언트 폭발을 초래할 수 있음을 이론적으로 보여준다(Prop. 1). 따라서 그래디언트 정규화와 사전학습 지식 보존을 동시에 달성하려면 보다 미묘한 제약이 필요하다. 여기서 제안된 핵심 아이디어는 어댑터 파라미터 Δθ에 멀티플리케이티브 노이즈 z∼N(1,σ²I)를 곱해 두 개의 변형된 모델 f(θ₀+z₁⊙Δθ)와 f(θ₀+z₂⊙Δθ)를 만든 뒤, 동일 입력에 대해 두 출력이 일치하도록 하는 일관성 정규화 손실 Dₚₐcₑ를 추가하는 것이다. Theorem 2와 3은 이러한 일관성 손실이 (i) 그래디언트 ‖∇θ‖₂를 자연스럽게 감소시키고, (ii) 다양한 노이즈 조합에 대한 출력 차이를 최소화함으로써 FP‑distance 역시 감소시킨다는 것을 증명한다. 즉, PACE는 그래디언트 정규화와 사전학습 모델 정렬을 하나의 손실 함수에 내재화한다.

실험적으로 저자들은 ViT 기반 비전 모델에 LoRA, SSF 등 기존 PEFT 기법을 적용한 뒤 PACE를 추가했을 때 VTAB‑1k, FGVC, few‑shot 및 도메인 적응 시 평균 1‑3%p의 성능 향상을 기록한다. 텍스트 영역에서도 GLUE와 GSM‑8K에서 LoRA에 PACE를 결합하면 기존 대비 유의미한 개선을 보인다. Ablation 연구에서는 노이즈 종류(멀티플리케이티브 vs. 애드티브), σ 값, 그리고 일관성 손실 가중치 λ이 일반화에 미치는 영향을 분석했으며, 적절한 σ와 λ 설정이 그래디언트 크기 감소와 성능 향도 사이의 트레이드오프를 최적화함을 확인했다. 전체적으로 PACE는 복잡한 추가 파라미터 없이도 기존 PEFT 파이프라인에 쉽게 통합될 수 있는 경량화된 정규화 기법으로, 자원 제한 환경에서 고성능 모델을 구축하고자 하는 실무와 연구에 큰 시사점을 제공한다.