1%로 100%를 뛰어넘는 고효율 비주얼 어댑터 CoLin

초록

CoLin은 백본에 1% 수준의 파라미터만 추가하는 저랭크 복합 어댑터이다. 다중 브랜치 설계와 커널·브랜치 공유, 그리고 직교 손실을 통한 학습 안정성을 도입해 저랭크 매트릭스의 수렴 문제를 해결한다. 객체 검출, 세그멘테이션, 이미지 분류 등 8개 비전 과제에서 전체 파인튜닝 및 기존 델타‑튜닝 방식을 능가하는 성능을 보이며, 파라미터 효율성을 크게 향상시킨다.

상세 분석

본 논문은 비전 파운데이션 모델의 파라미터 효율적 적응을 목표로, 기존 어댑터 구조의 핵심인 선형 투사층을 저랭크 복합 형태로 재구성한다. 저랭크 매트릭스 (P\in\mathbb{R}^{\beta\times m}), (K\in\mathbb{R}^{\beta\times\beta}), (Q\in\mathbb{R}^{\beta\times n}) 를 이용해 (W = P^{\top} K Q) 로 표현함으로써, 전통적인 (n^2/2) 파라미터 대비 (\frac{3n\beta}{2}) 로 파라미터를 97% 이상 절감한다. 여기서 (\beta)는 입력 차원에 비해 매우 작은 값(예: 8)이다.

하지만 저랭크 구조는 학습 시 그라디언트가 (P)와 (Q) 사이에 얽혀(gradient direction entanglement) 수렴 속도가 저하되는 문제를 야기한다. 논문은 행렬 미분과 트레이스 트릭을 이용해 (\Delta W \approx -\eta(\nabla_P L\cdot Q + P\cdot\nabla_Q L)) 를 도출하고, 최적의 수렴을 위해 (P)와 (Q)가 서로 직교해야 함을 수학적으로 증명한다. 이를 위해 각 브랜치마다 (|P^{\top}P - I|_F^2 + |QQ^{\top} - I|F^2) 형태의 직교 손실 (L{ort})을 추가하고, 전체 손실에 가중치 (\lambda)를 곱해 결합한다.

다중 브랜치 설계는 MoE와 AdaBoost에서 영감을 얻어, 동일 차원의 여러 저랭크 매트릭스를 (\sum_{i=1}^{\alpha} P_i^{\top} K_i Q_i) 로 합산한다. 이렇게 하면 각 브랜치가 서로 다른 특성 변환을 학습하면서도, 파라미터는 선형 결합만으로 유지돼 추론 비용이 증가하지 않는다. 또한, 커널 공유 전략을 도입해 각 브랜치의 업/다운 투사에서 동일한 (K_i)를 사용함으로써 파라미터 중복을 최소화하고, (P)와 (Q)는 전체 브랜치에 걸쳐 공유해 일반화 능력을 강화한다.

초기화 단계에서는 직교성을 보장하기 위해 무작위 행렬 (W_0)를 Kaiming uniform으로 초기화한 뒤 SVD를 수행한다. 분해된 (U, S, V)를 이용해 (P, K, Q)를 설정함으로써, 학습 초기에 이미 직교 구조를 갖춘 상태가 된다.

실험에서는 Swin‑B 백본을 기반으로 COCO, ADE20K, Pascal VOC 등 8개 데이터셋에서 전체 파인튜닝, BitFit, LoRA, AdaptFormer 등 기존 델타‑튜닝 기법과 비교했다. CoLin은 파라미터 증가율이 1% 수준임에도 불구하고, 대부분의 경우 AP/mIoU 지표에서 1~3%p 상승하거나, 기존 방법보다 동일하거나 더 높은 성능을 달성했다. 특히 원격 탐사 분야의 회전 객체 검출(DOT A‑v1.0)에서도 강인한 성능을 보이며, 파라미터 효율성이 모델 규모가 커질수록 더욱 두드러짐을 확인했다.

이러한 설계는 저랭크 매트릭스의 수렴 문제를 이론적으로 해결하고, 다중 브랜치와 공유 메커니즘을 통해 파라미터 효율성을 극대화한다는 점에서 비전 파운데이션 모델의 실용적 배포에 큰 기여를 한다.