IOTA 교정 지식 기반 프롬프트 학습 블랙 화이트 박스 프레임워크

초록

본 논문은 사전 학습된 비전 모델을 블랙 박스와 화이트 박스 두 모듈로 결합한 IOTA 프레임워크를 제안한다. 화이트 박스 모듈은 모델의 오답을 정답과 대비시켜 “교정 지식”을 추출하고, 이를 인간이 이해 가능한 텍스트 프롬프트로 변환한다. 변환된 프롬프트는 선택 전략을 통해 블랙 박스 모듈에 전달되어 예측을 보정한다. 12개의 이미지 분류 벤치마크에서 소수 샷 및 쉬운‑어려운 순응 설정 모두에서 기존 최첨단 방법들을 능가한다.

상세 분석

IOTA는 기존 파라미터 효율 튜닝(PET) 방법이 사전 학습 모델을 완전히 불투명한 블랙 박스로 취급하고, 데이터 중심 최적화에만 의존한다는 한계를 극복하고자 한다. 핵심 아이디어는 두 가지 상보적인 모듈을 결합하는 것이다. 첫 번째는 사전 학습된 비전 트랜스포머(ViT)를 그대로 고정한 블랙 박스 모듈로, 풍부한 사전 지식을 보존하면서 이미지 특징을 CLS 토큰 c_L에 압축한다. 두 번째는 화이트 박스 모듈로, 모델이 만든 잘못된 예측과 정답 라벨을 비교해 교정 지식 삼중항 {X, A, B}를 만든다. 여기서 A는 정답 클래스, B는 모델이 예측한 클래스이다. 교정 지식은 “이 사진은