ODELoRA: 연속시간 최적화로 저랭크 적응 학습 혁신

초록

ODELoRA는 LoRA 파라미터를 개별적으로 최적화하는 기존 방식의 한계를 극복하고, 저랭크 인자 행렬을 연속시간 미분방정식(ODE) 형태로 모델링한다. Euler·Runge‑Kutta와 같은 수치적 시간 이산화 기법을 적용해 이 ODE를 이산화함으로써, 전체 가중치 행렬의 그래디언트 흐름을 정확히 모방한다. 강한 볼록성 가정 하에 선형 수렴을 증명하고, 행렬 센싱 및 물리‑인포드 신경망 실험에서 기존 방법보다 안정적이고 빠른 수렴을 확인한다.

상세 분석

본 논문은 LoRA( Low‑Rank Adaptation )의 핵심 구조인 Burer‑Monteiro 인자화 (W_{\text{ft}} = W_{\text{pt}} + BA) 에 내재된 곱셈 관계를 무시하고, 두 인자 (A, B) 를 독립적으로 SGD 혹은 Adam 등으로 업데이트하는 기존 접근법이 최적화 궤적에서 전체 파라미터 공간의 그래디언트 흐름과 크게 차이난다는 점을 지적한다. 이를 해결하기 위해 저자들은 연속시간 최적화 동역학을 도입한다. 구체적으로, 시간‑의존 인자 (A(t), B(t)) 에 대해
\