저랭크 연속학습을 위한 EWC 기반 LoRA 재해석

초록

본 논문은 대규모 사전학습 모델(PTM) 위에 저랭크 어댑터(LoRA)를 적용한 파라미터 효율 연속학습(PECL) 환경에서, 기존의 작업별 모듈 할당 방식이 갖는 메모리·연산 부담을 최소화하고자 공유 LoRA 모듈에 Elastic Weight Consolidation(EWC) 정규화를 도입한다. 전체 차원의 Fisher Information Matrix(FIM)를 이용해 저랭크 업데이트의 중요도를 정확히 추정함으로써, 작업 간 간섭을 효과적으로 억제하면서도 저장 비용을 일정하게 유지한다. 실험 결과, 제안 방법(EWC‑LoRA)은 기존 저랭크 CL 기법 대비 평균 8.9% 이상의 정확도 향상을 보이며, 안정성‑플라스틱성 트레이드오프에서 우수함을 입증한다.

상세 분석

이 연구는 크게 네 가지 핵심 문제를 짚고 있다. 첫째, 대규모 PTM을 고정하고 저랭크 어댑터만 학습시키는 PECL 패러다임에서 작업별 LoRA를 별도로 할당하면 메모리 사용량이 작업 수에 비례해 증가한다는 구조적 한계가 존재한다. 둘째, 전통적인 EWC는 전체 파라미터에 대한 Fisher 정보를 저장하고 정규화해야 하므로, PTM 규모가 클 경우 메모리·연산 비용이 급증한다. 셋째, 기존 연구들은 저랭크 매트릭스(A, B)에 각각 독립적인 Fisher를 적용하거나, 사전 계산된 고정 Fisher를 사용했지만, 이는 저랭크 업데이트가 A와 B의 곱으로 형성되는 사실을 무시해 정규화 효과가 크게 감소한다는 수학적 증명을 제공한다. 넷째, 이러한 문제를 해결하기 위해 저자는 전체 차원의 FIM을 그대로 활용하면서, 저랭크 업데이트 ΔW = AB를 벡터화한 형태에 대해 정규화 항 λ/2 · vec(AB)ᵀ F · vec(AB) 를 적용한다. 이 접근법은 A와 B 사이의 상호작용을 완전하게 반영하고, 불필요한 고정 파라미터(예: W₀)의 기울기 노이즈를 배제한다. 구현 측면에서는 매 작업 종료 시 현재 모델 파라미터에 대한 FIM을 추정하고, 누적 Fisher(F_cum)을 업데이트한다. 이렇게 하면 매 작업마다 전체 파라미터 복사본을 유지할 필요 없이, 공유 LoRA 모듈만 학습하고 정규화할 수 있다. 실험에서는 이미지 분류(class‑incremental)와 비전 트랜스포머(ViT) 기반 베이스라인을 사용해, 기존의 다중 LoRA(작업별 독립 모듈)와 O‑LoRA(기하학적 직교화)와 비교하였다. 결과는 EWC‑LoRA가 메모리·연산 비용은 동일하거나 더 낮으면서도, 평균 정확도와 최악‑작업 성능에서 현저히 앞선다는 점을 보여준다. 특히, Fisher를 전체 차원에서 계산함에도 불구하고 저랭크 파라미터 수가 적어 메모리 오버헤드가 기존 EWC 대비 3배 이하로 감소한다는 실용적 장점이 강조된다. 이 논문은 저랭크 파라미터화와 정규화 기법을 결합함으로써, 대규모 PTM 기반 연속학습에서 “공유 파라미터 + 정규화”라는 새로운 설계 원칙을 제시한다는 점에서 학술적·실무적 의미가 크다.