시각적 지시를 따르는 이미지 편집 모델의 한계와 가능성

초록

VIBE는 시각적 스케치·화살표 등 시각적 지시를 이용한 이미지 편집을 평가하기 위한 1,034개 샘플의 벤치마크이다. 세 단계(지시‑선택, 형태‑설계, 인과‑추론)로 구성된 과제와 LMM‑as‑judge 평가 프레임워크를 통해 17개 모델을 비교했으며, 현재 상용 모델만이 초기 단계의 시각적 지시를 어느 정도 수행하지만 복잡한 인과 추론에서는 성능이 급격히 떨어진다는 결론을 얻었다.

상세 분석

VIBE는 기존 텍스트‑기반 이미지 편집 벤치마크가 놓친 ‘시각적 지시’를 정량화하려는 시도로, 인간이 스케치·바운딩 박스·힘벡터 등으로 의도를 전달하는 방식을 모델에 적용한다. 이를 위해 저자들은 ‘지시‑선택(Deictic)’, ‘형태‑설계(Morphological)’, ‘인과‑추론(Causal)’이라는 3‑레벨 계층을 정의하였다. 첫 번째 레벨은 영역 선택·추가·제거·이동 등 기본적인 공간 연산을 평가하며, 시각적 마크가 정확히 해당 영역을 가리키는지와 연산 종류가 일치하는지를 점검한다. 두 번째 레벨은 스케치나 포즈 레퍼런스를 ‘청사진’으로 사용해, 모델이 추상적인 형태를 실제 이미지에 일관되게 구현하도록 요구한다. 여기에는 포즈 제어, 방향 재배치, 손그림 기반 객체 생성 등이 포함된다. 세 번째 레벨은 시각적 화살표가 ‘촉매’ 역할을 하여 물리·논리적 결과를 예측하도록 만든다. 조명 방향 전환, 풍류 시뮬레이션, 당구 공 궤적 예측 등은 모델이 내부 세계 모델을 보유하고 있는지를 테스트한다.

데이터는 10개의 세부 과제로 나뉘며, 각 과제당 100개(당구는 134개) 샘플을 수집·검증했다. 이미지 스타일은 실사, 애니메이션, 스케치 등 3가지로 균형을 맞추어, 모델이 다양한 도메인에 일반화될 수 있게 설계되었다.

평가 방법으로는 최신 대형 멀티모달 모델(GPT‑5.1) 을 ‘판사’로 활용한 LMM‑as‑judge 방식을 채택하였다. 각 과제마다 ‘지시 준수(Instruction Adherence)’, ‘맥락 보존(Contextual Preservation)’, ‘시각적 일관성(Visual Coherence)’이라는 세 가지 세부 점수를 정의하고, 이들을 평균해 최종 점수를 산출한다. 인간 전문가와의 상관관계를 사전 실험으로 검증해 자동 평가의 신뢰성을 확보하였다.

실험 결과, 17개 모델(10개 오픈소스, 7개 상용) 중 상용 모델이 전반적으로 높은 점수를 기록했지만, 레벨이 올라갈수록 성능 격차가 확대되었다. 특히 인과‑추론 레벨에서는 최고 모델조차 50% 이하의 정확도를 보였으며, 이는 현재 모델이 물리·논리적 시뮬레이션 능력이 부족함을 의미한다. 오픈소스 모델은 기본적인 영역 선택조차 일관되게 수행하지 못하는 경우가 많았다. 이러한 결과는 시각적 지시를 통한 정교한 편집이 아직 초기 단계이며, 특히 ‘촉매’ 역할의 시각적 신호를 해석·시뮬레이션하는 능력이 향후 연구의 핵심 과제임을 시사한다.

VIBE는 시각적‑언어 멀티모달 인터페이스를 실제 이미지 편집에 적용하려는 연구자들에게 표준화된 평가 기준을 제공함으로써, 향후 모델 개발과 비교에 중요한 기준점이 될 것으로 기대된다.