분해와 합성을 통한 효율적인 비전언어 연속학습 단일 LoRA의 Rank1 전문가 풀

초록

본 논문은 사전학습된 비전‑언어 모델(VLM)에 LoRA를 적용해 연속학습 시 발생하는 파라미터 충돌과 기억 상실을 최소화한다. 단일 LoRA 모듈을 Rank‑1 전문가 풀로 분해하고, 입력의

상세 분석

이 연구는 VLM의 연속학습 문제를 LoRA의 저차원 특성을 활용해 해결하려는 시도로, 두 가지 핵심 아이디어를 제시한다. 첫 번째는 “Rank‑1 전문가 풀” 개념이다. 기존 LoRA는 rank r인 저차원 행렬 ΔW = BA 로 표현되지만, 이를 r개의 rank‑1 행렬 b_i a_i^T 의 합으로 분해함으로써 각 rank‑1 요소를 독립적인 ‘전문가’로 간주한다. 이렇게 하면 전체 파라미터를 일괄 업데이트하는 대신, 작업 특성에 맞는 소수의 전문가만 선택해 sparse하게 업데이트할 수 있다.

두 번째는