자동 양자화와 LoRA 순위 최적화로 LLM 파인튜닝 효율 극대화

초록

AutoQRA는 레이어별 비트폭과 LoRA 랭크를 동시에 탐색하는 두 단계 최적화 프레임워크이다. 전역 다중‑신뢰도 진화 탐색으로 메모리‑성능 파레토 앞선을 근사하고, 이후 신뢰구역 베이지안 최적화로 최적 구성을 정밀히 조정한다. 실험 결과, 4‑bit 균일 양자화와 동일한 메모리 사용량에서 거의 풀‑프리시전 파인튜닝 수준의 성능을 달성한다.

상세 분석

AutoQRA는 LLM 파인튜닝에서 양자화 비트폭과 LoRA 랭크가 상호작용한다는 근본적인 사실을 기반으로 설계되었다. 기존 연구는 양자화와 어댑터 용량을 독립적으로 최적화했지만, 비트폭이 낮아지면 양자화 노이즈가 증가하고, 이 노이즈를 보상할 수 있는 어댑터 용량(랭크)이 충분히 확보되지 않으면 파인튜닝 성능이 급격히 저하된다. 따라서 AutoQRA는 레이어별 (q, r) 쌍을 하나의 이산 탐색 공간으로 정의하고, 전체 메모리 예산 Bmax 이하에서 검증 성능 P(C)를 최대화하는 제약 최적화 문제로 공식화한다.

검색 비용을 줄이기 위해 두 단계 전략을 채택한다. Phase I에서는 다중‑신뢰도 진화 알고리즘을 사용한다. 초기 개체군은 각 레이어의 양자화 민감도 I_q(ℓ)와 어댑터 학습 에너지 I_r(ℓ)라는 사전 지표를 이용해 중요도 기반으로 warm‑start된다. 변이 연산은 중요도가 높은 레이어에 집중하도록 설계돼 탐색 효율을 높인다. 또한, 가벼운 서브시뮬레이션(짧은 파인튜닝 에포크)으로 저신뢰도 평가를 수행하고, 서프라이즈 모델(성능 예측기)을 통해 후보를 선별한다. 최종적으로 높은 신뢰도(전체 에포크) 평가를 받은 개체만 파레토 프론트에 포함시켜 전역적인 비트‑랭크 조합을 탐색한다.

Phase II에서는 신뢰구역 베이지안 최적화를 적용한다. Phase I에서 얻은 비우위 후보들을 초기점으로 삼아, 가우시안 프로세스 서프라이즈 모델을 고신뢰도 평가 데이터에 맞춰 학습한다. 기대 개선(EI) 획득 함수를 사용해 탐색 영역을 제한하고, 메모리 제약을 만족하는 새로운 (q, r) 조합을 순차적으로 제안한다. 이 단계는 미세 조정된 지역 최적점을 찾아, 양자화 노이즈에 가장 효과적으로 대응할 수 있는 어댑터 용량을 정확히 배분한다.

실험에서는 LLaMA‑7B, LLaMA‑13B 등 여러 규모의 모델에 대해 다양한 다운스트림 벤치마크(Winogrande, ARC‑Challenge 등)를 사용했다. AutoQRA는 동일 메모리(≈4‑bit 균일 양자화) 대비 평균 1.2~2.0% 정확도 향상을 보였으며, 최적 구성에서는 풀‑프리시전 파인튜닝에 근접한 성능을 달성했다. 특히, 비트폭이 낮은 레이어에 높은 LoRA 랭크를 할당함으로써 양자화 노이즈를 효과적으로 보정하는 패턴이 관찰되었다.

이 접근법의 강점은 (1) 비트폭‑랭크 상호작용을 명시적으로 모델링함으로써 메모리‑성능 트레이드오프를 최적화, (2) 다중‑신뢰도 진화와 베이지안 지역 탐색을 결합해 검색 비용을 크게 절감, (3) 실제 파인튜닝 비용을 고려한 실용적인 설계다. 한계점으로는 서프라이즈 모델 학습에 필요한 초기 데이터가 충분히 확보되지 않을 경우 탐색 효율이 떨어질 수 있으며, 매우 큰 모델(수십억 파라미터)에서는 고신뢰도 평가 자체가 여전히 비용이 크다는 점이다. 향후 연구에서는 메타‑러닝 기반 서프라이즈 모델 전이와, 양자화 스케줄링을 파인튜닝 중에 동적으로 조정하는 방법을 탐색할 여지가 있다.