합성 어댑터로 컨텍스트 파라미터화

초록

본 논문은 여러 개의 텍스트 컨텍스트를 하나의 어댑터 파라미터에 합성적으로 매핑하는 메타‑학습 프레임워크 CompAs를 제안한다. 각 컨텍스트를 LoRA 어댑터로 변환하고, 파라미터 공간에서 덧셈 연산으로 결합함으로써 긴 프롬프트를 처리할 필요 없이 질의만으로도 동일한 출력을 얻는다. 교사‑학생 설정, 합성성 손실, 재구성 손실을 통해 어댑터의 가산성과 원본 텍스트 복원을 동시에 학습한다. 실험 결과, 다중 선택·추출형 QA에서 기존 인‑컨텍스트 학습 및 단일‑컨텍스트 어댑터 방식보다 특히 컨텍스트 수가 많아질수록 우수한 성능을 보인다.

상세 분석

CompAs는 “컨텍스트 → 어댑터” 매핑을 수행하는 생성기 G와, 생성된 어댑터를 기반으로 질의만을 처리하는 학생 모델 S, 그리고 전체 컨텍스트와 질의를 동시에 입력받아 정답 분포를 제공하는 교사 모델 T로 구성된 3‑파트 시스템이다. 이때 어댑터는 LoRA 방식으로 구현되어 파라미터 공간이 저차원(선형 bottleneck)으로 압축된 뒤, 각 Transformer 레이어의 Q/K/V/O 프로젝션에 삽입된다. 핵심 이론적 기여는 어댑터 공간(Φ, +, 0)와 컨텍스트 자유 모노이드(C,