데이터 없이 쿼리 적응형 LoRA 융합 방법 qaFLoRA

초록

qaFLoRA는 대규모 언어 모델에 여러 도메인 LoRA 어댑터를 결합할 때, 별도의 학습 데이터나 추가 훈련 없이 쿼리별로 레이어 수준의 가중치를 동적으로 계산하는 방법이다. 베이스 모델과 각 어댑터의 출력 분포 차이를 KL 발산으로 측정해 적합성을 판단하고, 이를 기반으로 가중합을 수행한다. 실험 결과, 정적 융합과 기존 무학습 방식보다 5~10% 정도 성능이 향상되었으며, 감독 학습 기반 방법과도 격차를 크게 줄였다.

상세 분석

qaFLoRA는 LoRA 어댑터들의 동적 결합을 위해 두 가지 핵심 아이디어를 제시한다. 첫 번째는 어댑터가 베이스 모델에 미치는 영향을 정량화하기 위해 레이어별 출력 확률 분포를 추출하고, 이를 베이스 모델의 동일 레이어 출력과 KL 발산(Kullback‑Leibler divergence)으로 비교한다는 점이다. KL 발산값이 클수록 해당 어댑터가 현재 쿼리에 제공하는 정보량이 많으며, 이는 어댑터가 해당 도메인에 특화된 지식을 효과적으로 주입한다는 의미로 해석한다. 두 번째는 이렇게 얻어진 발산값을 정규화하여 레이어별 가중치 α(l)j 로 변환하고, 각 레이어에서 어댑터의 가중 업데이트 ΔWj 를 α(l)j 로 스케일링한 뒤 베이스 모델 파라미터에 합산한다는 점이다. 즉, 어댑터마다 레이어마다 다른 비중을 부여함으로써 “어디서” 도메인 지식이 가장 필요하고 “얼마나” 영향을 미쳐야 하는지를 정밀하게 제어한다.

구현 측면에서 저자는 기존 LLM의 LM 헤드 파라미터를 재사용해 중간 레이어의 hidden state를 바로 vocab logits으로 투사한다. 이는 중간 레이어에서도 의미 있는 확률 분포를 얻을 수 있음을 실험적으로 확인했으며, 추가적인 파라미터나 별도 정규화 단계 없이도 KL 발산을 계산할 수 있게 한다. 또한, 어댑터 수 k 가 늘어나더라도 각 어댑터에 대해 독립적인 KL 발산을 구하고 정규화하면 되므로 계산 복잡도는 O(k·N) (N은 레이어 수) 수준에 머문다. 이는 기존 라우팅 네트워크를 학습시키는 방법에 비해 메모리와 시간 효율성이 크게 개선된 점이다.

실험에서는 LLaMA‑2‑7B와 LLaMA‑3‑8B 두 모델을 사용해 9개의 다중언어 복합 태스크(수학, 코딩, 의료 등)를 평가하였다. 정적 융합(동일 가중치) 대비 평균 56%의 정확도 향상을 보였으며, 기존 무학습 기반 방법(코사인 유사도 기반) 대비 710%의 개선을 기록했다. 특히, 레이어별 가중치 패턴을 시각화했을 때, 수학 쿼리에서는 수학 어댑터가 상위 레이어에서 높은 가중치를, 코딩 쿼리에서는 중간 레이어에서 코드 어댑터가 두드러지는 등 의미 있는 해석이 가능함을 보여준다. 이는 KL 발산이 실제 도메인 관련 정보를 잘 포착한다는 증거이며, 어댑터 조합이 복잡해질수록 정적 가중치보다 동적 가중치가 더욱 큰 이점을 제공한다는 점을 강조한다.

한계점으로는 KL 발산을 계산하기 위해 각 레이어의 vocab logits을 모두 추출해야 하므로 추론 시 약간의 오버헤드가 발생한다는 점이다. 또한, 베이스 모델과 어댑터 간의 분포 차이가 매우 작을 경우(예: 매우 유사한 도메인) 가중치가 충분히 구분되지 않을 가능성이 있다. 향후 연구에서는 샘플링 기반 근사나 온‑디맨드 레이어 선택 등을 통해 효율성을 높이고, 매우 유사한 어댑터 간 차별성을 강화하는 방법을 모색할 수 있다.

전반적으로 qaFLoRA는 데이터와 추가 학습이 전혀 필요 없는 상황에서도 쿼리 특성에 맞는 어댑터 가중치를 자동으로 조정함으로써, 대규모 언어 모델에 다수의 도메인 전문 LoRA를 손쉽게 적용할 수 있는 실용적인 프레임워크를 제공한다.