작업 표현 기반 LoRA 어댑터 라우팅 혁신

초록

LoRAuter는 대규모 공개 어댑터 풀에서 학습 데이터 없이도 작업 수준의 임베딩을 이용해 적절한 LoRA 어댑터를 빠르게 선택·조합하는 훈련‑무료 라우팅 프레임워크이다. 작업 대표 집합을 구축하고 성공적 절반(Successive Halving) 검색으로 최적 어댑터를 매핑한 뒤, 쿼리 임베딩을 작업 임베딩과 매칭해 상위 K개의 어댑터를 가중합산한다. 실험 결과, 인‑도메인에서는 오라클 성능의 101.2 %를, 비‑인‑도메인에서는 기존 최고 방법보다 5.2 %p 향상된 성능을 보였으며 1500개 이상의 어댑터에도 확장 가능함을 입증한다.

상세 분석

LoRAuter의 핵심 아이디어는 “어댑터가 아니라 작업”을 라우팅 단위로 삼는 것이다. 기존 방법들은 쿼리와 어댑터 파라미터를 직접 매핑하거나, 어댑터 학습 데이터를 이용해 인덱스를 구축한다. 이러한 접근은(1) 학습 데이터 접근이 불가능한 공개 어댑터 풀에 적용하기 어렵고, (2) 어댑터 수 N에 비례하는 선형·다중 레이어 복잡도(O(N·L))를 초래한다는 한계가 있다. LoRAuter는 먼저 공개된 소규모 검증 세트로 구성된 작업 집합 T_rep을 만든다. 각 작업에 대해 성공적 절반(SH) 알고리즘을 사용해 어댑터 풀 Φ에서 가장 성능이 좋은 어댑터를 효율적으로 탐색한다. SH는 초기 후보를 반씩 제거하면서 평가 횟수를 집중시켜 전체 탐색 비용을 2배 이상 절감한다. 이렇게 얻어진 작업‑어댑터 매핑 M은 정적 데이터베이스로 저장된다.

런타임에는 쿼리 x를 사전 학습된 문장 임베딩 모델 E로 인코딩하고, 각 작업 t_i의 대표 임베딩 e_i와 코사인 유사도 등 거리 측정으로 매칭한다. 상위 K개의 작업을 선택하고, 해당 작업에 매핑된 어댑터 ϕ_i를 가중합산한다. 가중치는 입력‑작업 유사도에 비례하도록 설계돼, 입력이 여러 작업에 걸쳐 있을 때도 자연스럽게 다중 어댑터를 조합한다. 이 방식은 (i) 라우팅 복잡도가 O(T)로, 일반적으로 어댑터 수 N보다 훨씬 작다, (ii) 학습이 전혀 필요 없으며, (iii) 새로운 어댑터·작업이 추가될 때 기존 데이터베이스에만 평가를 수행하면 되므로 확장성이 뛰어나다는 장점을 제공한다.

실험에서는 48개의 사전 정의된 어댑터와 다양한 자연어 처리 작업(요약, 번역, 질문응답 등)으로 구성된 혼합 벤치마크를 사용했다. 인‑도메인에서는 “오라클”이라 불리는 작업‑어댑터 정답 매핑의 101.2 % 성능을 달성했으며, 이는 “완벽한 어댑터 선택”보다도 높은 결과다. 비‑인‑도메인(보지 못한 작업)에서는 기존 최강 라우터인 LoRA Retriever보다 5.2 %p 높은 정확도를 기록했다. 또한 1500개 이상의 어댑터를 포함한 대규모 풀에서도 기존 48개 어댑터와 비슷한 성능을 유지함을 보여, 노이즈가 많은 실세계 환경에서도 견고함을 입증했다.

한계점으로는 작업 대표 집합을 만들기 위한 검증 데이터가 최소한 필요하다는 점과, 작업‑어댑터 매핑 단계에서 어댑터 수가 매우 많을 경우 여전히 초기 평가 비용이 발생한다는 점을 들 수 있다. 향후 연구에서는 자동화된 검증 샘플 생성, 어댑터 메타‑학습을 통한 매핑 비용 감소, 그리고 다중 모달리티(이미지·음성) 어댑터와의 확장 가능성을 탐색할 여지가 있다.