복합 지시 기반 이미지 편집을 위한 공간 인식 멀티모달 LLM 모델

초록

본 논문은 복합적인 텍스트 지시를 정확히 수행하면서 배경 일관성을 유지하는 이미지 편집을 목표로 한다. 저자는 두 가지 전용 cross‑attention 모듈(공간‑인식 및 배경‑일관성)과 대규모 고품질 복합 지시 데이터셋(MCIE)·새 평가 벤치마크(CIE‑Bench)를 제안한다. 실험 결과 MCIE‑E1이 기존 최첨단 모델 대비 지시 준수율이 23.96 % 향상되었으며, 배경 왜곡도 크게 감소한다.

상세 분석

논문은 현재 diffusion 기반 이미지 편집 모델이 “단순 지시”에만 강하고, 복합 지시와 다중 영역 편집에서는 지시 준수도가 낮고 배경이 손상되는 두 가지 근본적인 한계를 지적한다. 이를 해결하기 위해 제안된 MCIE‑E1은 크게 세 부분으로 구성된다. 첫째, 복합 지시를 MLLM(Qwen2.5‑VL‑72B)으로 분해해 서브‑지시와 해당 영역의 바운딩 박스를 자동 생성한다. 이 과정에서 충돌 검출과 인간 검증을 결합해 데이터 품질을 확보한다. 둘째, “공간‑인식 cross‑attention”(SA‑CA) 모듈은 각 서브‑지시를 독립적으로 인코딩하고, 해당 바운딩 박스 마스크와 결합해 denoising 단계에서 지역별 어텐션을 강화한다. 이는 기존 CLIP‑기반 전체 문장 인코딩이 초래하는 정보 혼합을 방지하고, 세밀한 영역 제어를 가능하게 한다. 셋째, “배경‑일관성 cross‑attention”(BCCA) 모듈은 편집되지 않은 픽셀에 대한 원본 시각 특징을 그대로 전달함으로써 배경 왜곡을 최소화한다. 두 모듈은 U‑Net 구조의 중간 레이어에 병렬로 삽입되어, 편집 단계와 보존 단계가 동시에 진행되도록 설계되었다. 데이터 측면에서는 기존 데이터셋이 단순 지시·저해상도에 머물렀던 점을 보완해, 90 k개의 고해상도(≥1024 px) 복합 지시 샘플을 구축했다. 각 샘플은 지시 텍스트, 바운딩 박스, 원본·편집 이미지, 그리고 인간 평가 점수를 포함한다. 평가 벤치마크 CIE‑Bench은 400개의 복합 지시 세트를 제공하고, “Instruction Compliance”(지시 준수)와 “Background Consistency”(배경 일관성) 두 메트릭을 도입해 정량적·정성적 비교를 가능하게 한다. 실험에서는 MCIE‑E1이 기존 IP2P, AnyEdit, FOI 등과 비교해 Instruction Compliance에서 평균 23.96 % 상승, 배경 일관성에서도 유의미한 개선을 보였다. 시각적 사례에서도 서브‑지시별 정확한 영역 편집과 배경 보존이 뚜렷히 드러난다. 전체적으로 모델·데이터·평가 체계가 유기적으로 결합된 점이 논문의 가장 큰 강점이며, 복합 지시 기반 이미지 편집을 실제 서비스에 적용하기 위한 실용적 기반을 제공한다. 다만, 바운딩 박스 기반의 공간 가이드가 마스크 수준의 정밀도에 비해 제한적일 수 있고, MLLM 의존도가 높아 추론 비용이 증가한다는 점은 향후 연구 과제로 남는다.