LLM 학습의 한계를 넘는 혁신적 이중 최적화 기법 Bilevel-ZOFO

초록

기존의 효율적 미세 조정(PEFT) 방식과 그래디언트 프리(ZO) 방식의 단점을 결점 없이 결합하여, LLM의 학습 속도를 최대 4배 높이면서도 전체 모델의 성능을 유지하는 새로운 이중 최erv 최적화 프레임워크입니다.

상세 분석

본 논문에서 제안하는 Bilevel-ZOFO는 대규모 언어 모델(LLM) 학습의 고질적인 문제인 ‘연산 비용’과 ‘성능 저하’ 사이의 트레이드오프를 해결하기 위해 이중 최적화(Bilevel Optimization) 구조를 도입했습니다.

기술적 핵심은 내부 루프(Inner Loop)와 외부 루프(Outer Loop)의 전략적 분리에 있습니다. 기존의 First-Order(FO) PEFT 방식은 일부 파라미터만 업데이트하여 메모리 효율은 높지만, 모델의 전체적인 표현력을 활용하지 못한다는 한계가 있습니다. 반면, Zeroth-Order(ZO) 방식은 역전파(Back-propagation) 없이 순전파(Forward pass)만으로 전체 파라미터를 업데이트할 수 있어 메모리 효율적이지만, 그래디언트 추정의 높은 분산(Variance)과 프롬프트 선택에 대한 극심한 민감도 때문에 수렴 속도가 매우 느립니다.

Bilevel-ZOFO는 이 두 메커니즘을 결합합니다. 내부 루프에서는 FO-PEFT를 사용하여 매우 빠르고 국소적인 적응(Local adaptation)을 수행합니다. 이 과정은 단순히 파라미터를 조정하는 것을 넘어, ZO 추정치의 분산을 줄여주는 ‘안정화 장치’ 역할을 수행합니다. 즉, FO-PE점의 빠른 적응이 ZO의 탐색 경로를 가이드함으로써 외부 루프의 안정성을 확보합니다. 외부 루프에서는 ZO를 통해 전체 백본(Backbone) 파라미터를 업데이트함으로써, PEFT가 도달할 수 없는 전체 모델의 용량(Full-model capacity)을 활용합니다. 결과적으로 이 구조는 ZO의 메모리 효율성을 유지하면서도, FO-PEFT의 빠른 수렴 특성을 가져와 학습 속도를 2~4배 가속화하고 프롬프트 민감도 문제를 획기적으로 개선했습니다.

최근 대규모 언어 모델(LLM)의 발전과 함께, 특정 태스크에 맞춰 모델을 미세 조정(Fine-tuning)하는 기술이 필수적으로 요구되고 있습니다. 그러나 모델의 크기가 기하급수적으로 커짐에 따라, 기존의 전체 파라미터 미세 조정(Full Fine-tuning) 방식은 막대한 컴퓨팅 자원과 메모리를 소모한다는 치명적인 단점이 있습니다. 이를 해결하기 위해 등장한 두 가지 주요 흐름인 PEFT와 ZO 방식은 각각 명확한 한계를 지니고 있었습니다.

PEFT(Parameter-Efficient Fine-Tuning)는 모델의 대부분을 동결하고 극히 일부의 파라미터만 학습시켜 효율성을 극대화하지만, 높은 정확도가 요구되는 복잡한 태스크에서는 전체 미세 조정에 비해 성능이 떨어지는 경향이 있습니다. 반면, ZO(Zeroth-Order) 방식은 역전파 과정 없이 순전파만으로 그래디언트를 추정하기 때문에 메모리 사용량을 획기적으로 줄일 수 있지만, 그래디언트 추정의 불안정성으로 인해 학습 속도가 매우 느리고 프롬프트의 작은 변화에도 결과가 크게 휘둘리는 민기성 문제를 안고 있었습니다.

본 논문은 이러한 두 방식의 장점만을 결합한 ‘Bilevel-ZOFO’라는 새로운 최적화 프레임워크를 제안합니다. Bilevel-ZOFO는 이중 구조의 최적화 프로세스를 따릅니다.

첫째, 내부 루프(Inner Loop)에서는 FO-PEFT를 활용합니다. 이는 매우 적은 파라미터만을 사용하여 빠르게 로컬 태스크에 적응하는 단계입니다. 이 단계의 핵심 역할은 단순히 학습을 수행하는 것에 그치지 않고, 외부 루프에서 수행될 ZO 업데이트의 분산을 낮추는 것입니다. 즉, PEFT를 통해 모델이 태스크의 특징을 미리 파악하게 함으로써, 이후 진행될 전체 모델 업데이트의 방향성을 명확하게 가이드합니다.

둘째, 외부 루프(Outer Loop)에서는 ZO 방식을 사용하여 모델의 전체 백본(Full Backbone)을 업데이트합니다. PEFT가 가진 성능의 한계를 극복하기 위해, ZO를 통해 모델 전체의 파라미터를 조정함으로써 전체 모델이 가진 잠재적 용량을 최대한 활용할 수 있게 합니다. 이 과정에서 내부 루프의 안정화 효과 덕분에 ZO 특유의 느린 수렴 속도와 프롬프트 민감도 문제가 완화됩니다.

실험 결과, Bilevel-ZOFO는 기존의 ZO 방식 및 FO-PEFT 방식과 비교했을 때 학습 속도를 2배에서 최대 4배까지 향상시키는 놀라운 성과를 보여주었습니다. 또한, 메모리 효율성을 유지하면서도 전체 모델 미세 조정에 근접하는 성능을 달성했습니다. 특히, 아주 작은 크기의 FO-PEFT 블록만을 사용하여 새로운 태스크에 빠르게 적응할 수 있는 메타 학습(Meta-learning)으로서의 가능성을 입증했습니다. 이는 향후 자원이 제한된 환경에서도 고성능 LLM을 효율적으로 구축하고 배포할 수 있는 데 매우 중요한 기술적 토대를 제공할 것으로 기대됩니다.