GRIT 기하학 인식 파라미터 효율 미세조정과 KFAC 사전조건 및 동적 차원 적응

📝 원문 정보

• Title: GRIT – Geometry-Aware PEFT with K-FACPreconditioning, Fisher-Guided Reprojection, andDynamic Rank Adaptation
• ArXiv ID: 2601.00231
• 발행일: 2026-01-01
• 저자: Pritish Saha, Chandrav Rajbangshi, Rudra Goyal, Mohit Goyal, Anurag Deo, Biswajit Roy, Ningthoujam Dhanachandra Singh, Raxit Goswami, Amitava Das

📝 초록 (Abstract)

파라미터 효율 미세조정(PEFT)은 대형 언어 모델을 특정 도메인이나 응용에 맞추는 기본 방법이 되었지만, LoRA와 QLoRA 같은 기존 기법은 대부분 기하학 정보를 무시하고 무작위로 정해진 저차원 서브스페이스 안에서 1차 최적화만 수행한다. 이는 불필요한 업데이트 예산을 늘리고 약하게 제약된 방향으로의 드리프트를 확대한다. 본 논문은 이러한 한계를 극복하기 위해 GRIT라는 동적·곡률 인식 LoRA 방식을 제안한다. GRIT는 LoRA 파라미터화를 유지하면서 (1) K‑FAC을 이용해 랭크 공간에서 자연 기울기를 근사하는 사전조건을 적용하고, (2) 주기적으로 저차원 기반을 피셔 행렬의 주요 고유방향으로 재투영해 드리프트를 억제하며, (3) 스펙트럼 정보를 이용해 효과적인 랭크를 자동으로 조정한다. 결과적으로 고신호·저간섭 방향으로 업데이트가 집중되고, 실제 파라미터 수는 평균 46 %(작업별 25 %~80 %) 감소하면서도 LoRA·QLoRA와 동등하거나 우수한 성능을 달성한다. 또한, 곡률 기반의 드리프트 모델링을 통해 GRIT가 LoRA보다 기억 손실을 적게 일으키는 것을 실험적으로 확인했으며, Orthogonal‑LoRA, IA³, DoRA/Eff‑FT, Shampoo 등 강력한 PEFT·옵티마이저 대비 파라미터‑업데이트 대비 보존 경계에서도 앞선다. 핵심 메시지는 “어디로 움직이는가”가 “얼마나 움직이는가”만큼 중요하다는 점이며, 손실, 곡률, 서브스페이스를 공동 최적화하는 새로운 PEFT 설계 방향을 제시한다.

💡 논문 핵심 해설 (Deep Analysis)

GRIT 논문은 기존 PEFT 방법론이 갖는 근본적인 구조적 한계를 정확히 짚어낸다. LoRA와 QLoRA는 저차원 행렬 A와 B를 학습 가능한 파라미터로 두고, 원래의 가중치 W에 W + ΔW = W + A Bᵀ 형태로 업데이트한다. 이때 A와 B는 초기화 시 무작위 정규분포를 따르며, 학습 과정은 기본적인 SGD 혹은 Adam과 같은 1차 최적화에 의존한다. 이러한 접근은 파라미터 공간에서 “어떤 방향으로” 움직이는지를 전혀 고려하지 않으며, 손실 곡면의 지역적인 곡률(즉, 피셔 정보 행…

📄 논문 본문 발췌 (Translation)

...(본문 내용이 길어 생략되었습니다. 사이트에서 전문을 확인해 주세요.)