마스크인버전: 설명지도 최적화를 통한 지역 임베딩 생성

초록

MaskInversion은 사전 학습된 비전‑언어 모델(CLP 등)의 가중치를 고정한 채, 테스트 시 입력된 마스크와 설명지도(Explainability Map)의 차이를 최소화하도록 단일 토큰 임베딩을 최적화한다. 이 토큰은 해당 영역을 대표하는 지역 임베딩으로 활용될 수 있으며, 지역 분류, 설명 생성, 이미지 변형 등 다양한 다운스트림 작업에서 제로샷 성능을 향상시킨다.

상세 분석

본 논문은 기존 CLIP‑계열 비전‑언어 모델이 전역적인 이미지‑텍스트 정렬에 강점이 있지만, 세부 영역에 대한 표현력은 부족하다는 점을 지적한다. 이를 해결하기 위해 저자들은 “MaskInversion”이라는 테스트‑타임 최적화 프레임워크를 제안한다. 핵심 아이디어는 사전 학습된 백본을 동결한 상태에서, 사용자가 제공한 이진 마스크와 모델의 설명지도(gradient‑based attribution, 여기서는 LeGrad)를 비교하여 차이를 최소화하도록 하나의 임베딩 토큰을 업데이트하는 것이다.

1️⃣ 임베딩 초기화: 이미지 전체에 대한 CLIP의