Lotus 적응형 서브스페이스 전환을 통한 효율적인 대규모 언어 모델 학습

초록

본 논문은 대규모 언어 모델(LLM) 학습 시 메모리와 시간 효율성을 동시에 개선하는 방법인 Lotus를 제안한다. Lotus는 무작위화된 저‑랭크 그래디언트 투영과 단위 그래디언트 변위 기반 적응형 서브스페이스 전환 기준을 결합해, 기존 GaLore 대비 평균 30% 빠른 학습 속도와 40% 적은 메모리 사용을 달성한다. 실험 결과는 사전 학습과 파인튜닝 모두에서 성능 향상을 확인한다.

상세 분석

Lotus는 기존 저‑랭크 그래디언트 방법(GaLore)이 겪는 두 가지 주요 문제—SVD 연산에 의한 시간 오버헤드와 고정된 서브스페이스 전환 주기로 인한 비효율성—를 동시에 해결한다. 첫 번째로, Lotus는 전통적인 정확한 SVD 대신 파워 이터레이션 기반의 무작위화 SVD(rSVD)를 사용한다. rSVD는 행렬의 주요 특이값과 특이벡터를 빠르게 근사함으로써 메모리 피크를 크게 낮추고, 연산 복잡도를 O(mn log r) 수준으로 감소시킨다. 두 번째로, 논문은 “단위 그래디언트 변위”라는 새로운 평가 지표 ρₜ를 도입한다. ρₜ는 현재 저‑랭크 서브스페이스에 투영된 단위 그래디언트들의 누적 변위와 이론적 최적 변위(D_ideal)의 비율로 정의되며, 0과 1 사이 값을 가진다. ρₜ가 사전에 설정한 임계값 γ(보통 0.005~0.02) 이하로 떨어지면 서브스페이스를 재계산한다. 이 과정은 최소 간격 T_min을 두어 초기 잡음 단계에서 과도한 전환을 방지한다.

이론적 분석에서는 ρₜ≥ρ인 경우 L‑smooth 손실 함수에 대해 기대되는 손실 감소량을 L( wₜ₊₁ ) ≤ L( wₜ ) – α ρ²‖gₜ‖² + (α² L/2)‖gₜ‖² 로 증명하고, 적응형 전환 정책이 고정 주기 정책보다 최대 c₁·c₂·k 배 적은 반복 횟수(N_ada ≤ c₁c₂k N_fix) 로 동일 수렴 기준을 만족함을 보인다. 이는 서브스페이스가 실제 그래디언트 흐름을 더 잘 추적함을 의미한다.

실험에서는 LLaMA 계열 모델(60M1B)과 C4 데이터셋을 이용해 사전 학습 효율을 평가했으며, 메모리 사용량(gradient + optimizer)에서 Lotus가 GaLore 대비 평균 40% 절감, 전체 학습 시간에서는 30% 가량 단축되었다. 또한 GLUE 벤치마크 파인튜닝 실험에서 rank=4,8 설정 모두 Lotus가 다른 저‑랭크 방법(Lora, AdaRankGrad 등)보다 높은 평균 점수를 기록했다. 특히 서브스페이스 전환 빈도는 GaLore의 1.6회/1000step 대비 Lotus는 6.36.5회/1000step 으로 300% 이상 증가했으며, 이는 적응형 전환이 더 자주, 그러나 효율적으로 이루어짐을 보여준다.

한계점으로는 rSVD 근사 정확도가 서브스페이스 품질에 미치는 영향에 대한 정량적 분석이 부족하고, 매우 큰 모델(수십 억 파라미터)에서의 스케일링 테스트가 제한적이다. 또한 γ와 η(검증 간격) 하이퍼파라미터 선택이 데이터와 모델에 따라 민감할 수 있어 자동 튜닝 메커니즘이 필요하다.

요약하면, Lotus는 무작위화 저‑랭크 투영과 그래디언트 방향 일관성 기반 적응형 서브스페이스 전환을 결합함으로써 메모리·시간·성능 삼위일체를 동시에 개선한 실용적인 LLM 학습 프레임워크이다.