RealDrag: 진짜 목표 이미지를 갖춘 최초의 드래깅 벤치마크

초록

드래그 기반 이미지 편집 모델의 평가는 표준화된 벤치마크와 지표 부재로 신뢰성이 낮았습니다. 본 연구는 이를 해결하기 위해, 실제 목표 이미지 쌍을 포함한 최초의 포괄적 벤치마크 ‘RealDrag’ 데이터셋과 4가지 새로운 평가 지표를 제안합니다. 400개 이상의 인간 주석 샘플을 바탕으로 17개의 최신 모델을 평가하여 각 접근법의 명확한 장단점과 트레이드오프를 밝혀냈습니다.

상세 분석

본 논문이 해결한 핵심 문제는 드래그 편집 분야의 평가 체계 부재입니다. 기존 연구는 일관된 프로토콜이 없었을 뿐만 아니라, 가장 근본적으로 ‘진짜(Real)’ 목표 이미지(Ground Truth)가 없는 데이터셋을 사용했습니다. 이는 생성된 결과물이 사용자의 의도대로 움직였는지 객관적으로 측정할 수 없게 만들어, 방법론 간 공정한 비교를 불가능하게 했습니다.

RealDrag의 혁신은 정량적 평가를 가능케 하는 ‘실제 목표 이미지’ 쌍을 제공하는 데 있습니다. 비디오 프레임에서 추출한 415개의 샘플은 소스/타겟 이미지, 핸들/타겟 포인트, 편집 영역 마스크, 이미지 설명 및 편집 행동 설명 캡션으로 구성됩니다. 이는 모델이 단순히 포인트를 따라가는 것을 넘어, 실제 물리적 변화를 얼마나 정확하게 모방하는지 평가할 수 있는 토대를 마련합니다.

제안된 4가지 작업 특화 메트릭은 평가의 다면성을 포착합니다. ‘SeD’는 픽셀 수준의 정합도를, ‘OMPS’와 ‘IPPS’는 마스크 외부/내부 영역의 보존 정도를 측정합니다. 특히 ‘DiS’는 편집 방향의 의미론적 정확성을 평가하여, 예를 들어 ‘회전’ 지시에 대해 결과물이 실제로 회전했는지를 판단합니다.

17개 SOTA 모델에 대한 대규모 평가 결과는 흥미로운 트레이드오프를 보여줍니다. GAN 기반(DragGAN)은 속도가 빠르지만 복잡한 변형에 한계가 있고, Diffusion 기반은 높은 품질과 유연성을 제공하지만 계산 비용이 큽니다. 최신 경향은 단일 포인트 최적화에서 영역 기반(RegionDrag), 작업 인식(GDrag), 언어 통합(LucidDrag)으로 진화하며, 평가의 복잡성을 증가시키고 있습니다. 이 벤치마크는 이러한 다양한 패러다임을 동일한 기준으로 비교할 수 있는 첫 번째 체계적 도구가 될 것입니다.