ABBA 어댑터: 파라미터 효율적인 고표현성 파인튜닝

초록

ABBA는 사전 학습된 가중치와 완전히 분리된 두 개의 저랭크 행렬을 원소별 곱(Hadamard product)으로 결합해 업데이트를 구성한다. 동일한 파라미터 예산 하에서 LoRA와 HiRA보다 높은 표현력을 보이며, Khatri‑Rao 변환을 이용해 메모리와 연산 효율도 유지한다. 실험 결과 arithmetic 및 commonsense 벤치마크에서 기존 PEFT 방법들을 크게 앞선다.

상세 분석

본 논문은 파라미터 효율적인 파인튜닝(PEFT) 분야에서 LoRA의 저랭크 제약을 극복하고자 하는 시도이다. LoRA는 업데이트 ΔW를 B·A 형태의 저랭크 행렬 곱으로 표현해 파라미터 수를 r·(m+n)으로 제한하지만, 이는 업데이트 자체가 최대 r 차원에 머무르게 하여 고차원 표현이 필요한 작업에서 한계가 있다. HiRA는 ΔW = W₀ ⊙ (B·A) 로, 사전 가중치와 원소별 곱을 이용해 명목상 전치(rank) 를 r·rank(W₀)까지 늘릴 수 있지만, 여전히 업데이트가 W₀에 강하게 결합돼 자유도가 제한된다.

ABBA는 이러한 결합을 완전히 해제한다. ΔW = s·(B₁·A₁) ⊙ (B₂·A₂) 로 정의하며, B₁·A₁ 과 B₂·A₂ 각각이 독립적인 저랭크 행렬이다. 두 저랭크 행렬의 원소별 곱은 최대 r₁·r₂ 차원의 효과적 랭크를 제공하므로, 동일 파라미터( (r₁+r₂)(m+n) ) 예산에서 LoRA보다 두 배에 가까운 표현력을 얻는다. 논문은 r₁=r₂=r/2 로 설정해 공정한 비교를 수행한다.

효율성 측면에서 원소별 곱은 직접 구현하면 전체 m×n 행렬을 물리적으로 생성해야 하는 비효율이 있다. 이를 해결하기 위해 Khatri‑Rao 곱 정리를 활용해 (B₁·A₁) ⊙ (B₂·A₂) = (B₁ ⊙_r B₂)·(A₁ᵀ ⊙_r A₂ᵀ)ᵀ 로 변형한다. 이렇게 하면 LoRA와 동일하게 Bₖʳ·(Aₖʳ·x) 형태로 연산이 가능해 메모리와 연산량이 크게 증가하지 않는다.

스케일링 파라미터 s는 안정적인 학습을 위해 s = α·√(1/(r₁·r₂)) 로 설정한다. 저자들은 이를 “rank‑stability” 라는 정의로 정량화하고, 입력·출력 2차 모멘트가 r₁·r₂에 비례하도록 보장한다. 이론적 증명(Theorem 2)과 실험적 그래디언트 노름 분석을 통해 s 선택이 학습 발산을 방지함을 확인한다.

표현력 검증은 두 가지 방식으로 수행된다. 첫째, 임의의 목표 행렬 M에 대해 LoRA와 ABBA가 동일 파라미터로 재구성 오류를 최소화하는 실험에서 ABBA가 일관되게 낮은 오류를 보였다. 특히, LoRA의 rank r에 대해 ABBA는 r₁=r₂=r/2 로 설정했음에도 불구하고 LoRA의 rank 2r 수준에 근접하거나 이를 능가하는 재구성 품질을 달성했다. 둘째, MNIST 2‑layer MLP를 이용한 toy 실험에서 ABBA는 빠른 수렴과 더 높은 최종 정확도를 기록, 실제 학습 과정에서도 높은 표현력이 활용 가능함을 증명했다.

실제 LLM 파인튜닝에서는 Llama‑3.2 1B/3B, Mistral‑7B, Gemma‑2 9B 등 네 모델에 arithmetic (예: GSM8K)과 commonsense (예: BoolQ, ARC‑E) 벤치마크를 적용했다. 동일 파라미터(≈0.5 % 전체 파라미터) 조건에서 ABBA는 LoRA, LoRA‑XS, DoRA, HiRA 등을 모두 앞서며, 특히 고차원 논리 추론과 수치 연산에서 평균 2‑3 % 포인트 이상의 정확도 향상을 보였다. Ablation 연구에서는 (1) 두 저랭크 쌍을 모두 학습했을 때와 하나만 고정했을 때의 차이, (2) SVD 기반 초기화 vs. 무작위 초기화, (3) 스케일링 상수 α의 민감도 등을 분석해 제안 방법의 설계 선택이 모두 성능에 기여함을 확인했다.

요약하면, ABBA는 “저랭크 × 저랭크” 원소별 곱이라는 새로운 파라미터화로 LoRA의 저랭크 제한을 효과적으로 해소하고, Khatri‑Rao 변환을 통한 구현 최적화로 메모리·연산 효율성을 유지한다. 이론적 안정성 분석과 광범위한 실험을 통해 고표현성 PEFT 방법으로서의 타당성을 충분히 입증하였다.