지시 기반 특성 제어를 위한 파라미터 효율적 LoRA 프레임워크

초록

FiLoRA는 멀티모달 기반 모델의 내부 특성 의존성을 자연어 지시로 조절할 수 있게 하는 파라미터‑효율적 적응 방법이다. LoRA 업데이트를 의미론·시각·음성 등 기능별 그룹으로 분리하고, 지시 인코더가 생성한 게이트를 통해 각 그룹의 기여도를 연속적으로 스케일링한다. 이를 통해 라벨이나 태스크 정의를 바꾸지 않고도 핵심 특성에 집중하거나 스푸리어스(편향) 특성을 억제할 수 있다. 텍스트‑이미지와 오디오‑비주얼 벤치마크에서 일관된 성능 향상과 강인성을 보이며, 내부 연산 경로의 인과적 변화를 입증한다.

상세 분석

FiLoRA는 기존 LoRA가 제공하는 저차원 파라미터 업데이트를 한 단계 더 세분화한다. 논문은 먼저 멀티모달 모델의 내부 연산을 “특성 그룹”(예: 텍스트 의미 처리, 시각 외관 인코딩, 교차‑모달 융합, 음성 특징 추출)으로 정의하고, 각 그룹마다 별도의 저차원 매트릭스 (ΔW_g = B_g A_g^T) 를 할당한다. 이렇게 하면 하나의 레이어가 아니라 기능 단위로 적응 파라미터를 제어할 수 있다.

핵심 혁신은 “지시‑조건부 게이팅”이다. 자연어 지시 (I_i) 를 사전 학습된 인코더 (h_φ) 로 임베딩하고, 시그모이드 σ 를 거쳐 (