다중모달 인컨텍스트 학습을 위한 다층 교차주의 최적성

초록

본 논문은 다중모달 데이터를 위한 인컨텍스트 학습(ICL) 이론을 구축한다. 단일층 선형 자기주의(LSA)는 다중모달 잠재 요인 모델에서 베이즈 최적 예측기를 일관되게 회복하지 못함을 증명하고, 다층 선형 교차주의(LCA)와 자기주의를 결합한 깊은 구조가 그래디언트 흐름 하에서 베이즈 최적 예측기에 수렴함을 보인다.

상세 분석

이 연구는 최근 급부상한 “인컨텍스트 학습”(ICL)의 다중모달 확장에 대한 최초의 형식적 분석을 제공한다. 저자들은 먼저 두 개의 서로 다른 모달리티(예: 이미지와 텍스트)에서 관측되는 특징이 공통의 잠재 변수 u 에 의해 생성된다는 가정 하에, u 와 모달리티‑특이적 벡터 v, r 을 이용한 잠재 요인 모델을 정의한다. 이 모델에서는 각 프롬프트마다 회귀 계수 ζ 가 새롭게 샘플링되며, 따라서 공분산 행렬 Λ = I + mmᵀ (여기서 m =