멀티컨셉 개인화 비전‑언어 모델 MC‑LLaVA

초록

MC‑LLaVA는 하나의 학습 단계에서 여러 사용자 정의 개념을 동시에 학습하도록 설계된 비전‑언어 모델이다. 시각 토큰을 이용해 개념 토큰을 초기화하고, 선택적 주의 손실과 위치 기반 시각 프롬프트를 도입해 학습 효율과 인식·그라운딩 정확도를 높인다. 영화 장면에서 추출한 2 000여 장 이미지와 16 700개의 질문‑답변(QA)으로 구성된 새로운 멀티컨셉 데이터셋을 공개했으며, 다양한 멀티컨셉 인식·질문·캡션 작업에서 기존 단일‑컨셉 방법들을 크게 앞선다.

상세 분석

본 논문은 기존 VLM 개인화 연구가 단일 개념에 국한된 한계를 지적하고, 실제 응용에서 흔히 마주치는 다중 개념 상황을 체계적으로 다루는 프레임워크를 제시한다. 핵심 아이디어는 ‘멀티컨셉 인스트럭션 튜닝’으로, m개의 개념을 하나의 배치에 동시에 포함시켜 학습함으로써 파라미터 병합 시 발생하는 성능 저하를 방지한다. 각 개념은 ⟨sks⟩ 토큰과 k개의 학습 가능한 토큰으로 표현되며, vocab을 m만큼 확장한다.

학습 비용 절감을 위해 시각 토큰 기반 초기화 방식을 도입한다. Grounded‑SAM을 이용해 개념 이미지에서 전경 마스크를 추출하고, 마스크가 적용된 시각 특징을 k‑means 클러스터링해 k개의 중심을 얻는다. 이 중심값을 토큰 초기값으로 사용함으로써 무작위 초기화 대비 수렴 속도가 크게 향상되고, 고품질 부정 샘플에 대한 의존도가 낮아진다.

또한 선택적 보조 손실(L_attn)을 설계해 개념 토큰이 올바른 시각 영역에 집중하도록 강제한다. 마지막 K 레이어의 어텐션 가중치를 평균해 소프트 마스크 M_attn을 만든 뒤, Grounded‑SAM이 제공한 이진 마스크와의 IoU 기반 손실을 최소화한다. λ 파라미터로 가중치를 조절해 기본 next‑token 손실과 결합한다.

추론 단계에서는 ‘퍼스널라이즈드 비주얼 프롬프트’를 적용한다. 테스트 이미지의 패치 토큰 V_t와 학습 단계에서 저장한 지원 이미지 특징을 이용해 두 종류의 유사도 맵(M_ref, M_token)을 계산하고, β 가중치로 혼합해 최종 위치 맵 M_final을 만든다. 이 맵을 정규화·임계값 처리한 뒤, 개념이 존재하면 시스템 프롬프트에 “⟨sks⟩ is located at Mark j”와 같은 공간 지시자를 삽입해 모델의 그라운딩 능력을 강화한다.

데이터 측면에서는 영화 장면에서 다중 인물·객체를 골라 2 000장 이미지와 16 700개의 QA를 구축하였다. GPT‑5를 활용해 초기 QA를 자동 생성하고, 인간 검수를 거쳐 질문 유형(긍정·부정 인식, 공동 인식, VQA, 캡션 등)과 개념 수(2~4)별로 균형을 맞췄다. 기존 단일‑컨셉 데이터셋과 비교해 규모·다양성·멀티컨셉 지원 모두 우수하다.

실험 결과, MC‑LLaVA는 단일·멀티컨셉 인식 정확도, 시각 질문 응답, 캡션 생성 등에서 최신 단일‑컨셉 개인화 모델(Yo’LLaVA 등)을 크게 앞선다. 특히 보조 손실을 적용했을 때 수렴 속도가 30 % 가량 빨라지고, 시각 프롬프트를 사용했을 때 위치 추론 정확도가 12 % 상승한다.

전체적으로 MC‑LLaVA는 멀티컨셉 개인화를 위한 토큰 설계, 초기화, 손실, 추론 프롬프트를 일관된 파이프라인으로 통합함으로써 학습 효율과 실용성을 동시에 달성한다. 향후 연구는 더 많은 개념 수와 복합적인 관계(예: 상호작용, 시간적 연속성)까지 확장하고, 텍스트‑이미지 대규모 사전학습과의 시너지 효과를 탐색할 여지가 있다.