시점 일관성을 갖춘 고품질 객체 조작

초록

Ctrl&Shift는 명시적 3D 모델 없이도 이미지·비디오에서 객체를 정확히 이동·회전시키면서 배경을 보존하고, 카메라 시점 변화를 일관되게 유지하는 확산 기반 프레임워크이다. 객체 제거와 레퍼런스 기반 인페인팅을 두 단계로 분리하고, 다중 과제·다중 단계 학습과 실제 장면에서 추정한 상대 카메라 포즈를 활용해 고품질 데이터 파이프라인을 구축한다. 실험 결과, 기존 방법들을 능가하는 시각적 충실도와 제어성을 보인다.

상세 분석

본 논문은 객체 수준 편집에서 “배경 보존·시점 일관성·사용자 제어”라는 세 가지 핵심 요구를 동시에 만족시키는 방법을 제시한다는 점에서 의미가 크다. 기존의 기하학 기반 접근법은 정확한 3D 재구성을 전제로 하지만, 데이터 수집·최적화 비용이 높고 실세계 일반화가 제한적이다. 반면 확산 기반 편집은 텍스트·프레임워크만으로도 다양한 장면에 적용 가능하지만, 객체의 자세한 위치·회전 제어가 부족해 시점 변환 시 왜곡이 발생한다. Ctrl&Shift는 이러한 트레이드오프를 해소하기 위해 두 단계(객체 제거, 레퍼런스 이미지 인페인팅)로 작업을 분할하고, 각각을 동일한 확산 모델에 통합한다.

아키텍처는 ControlNet 스타일의 DiT(디퓨전 트랜스포머)를 기반으로 하며, 입력 영상·레퍼런스 이미지, 마스크, 상대 카메라 포즈를 별도의 컨트롤 브랜치와 메인 브랜치에 인코딩한다. 마스크는 픽셀‑언샤플링을 통해 VAE 스트라이드와 정렬된 이진 텐서로 변환해, 이미지 색상과 혼동되지 않도록 설계되었다. 상대 카메라 포즈는 8차원 벡터(f)로 정의되며, 축‑각·이동·NDC 이동을 포함한다. 이 벡터는 Fourier positional encoding 후 MLP를 거쳐 4096 차원의 토큰으로 변환돼 크로스‑어텐션에 주입된다, 따라서 모델은 “현재 시점 → 목표 시점” 변환을 직접 학습한다.

학습은 다중 과제(객체 제거, 레퍼런스 인페인팅, 전체 조작)와 다중 단계(객체 프라이어·카메라 제어 단계, 배경 보존 고품질 파인튜닝 단계)로 구성된다. 각 과제는 명시적 손실(마스크 일치, 이미지 재구성, 포즈 일관성)로 구분되어, 신호 간 상호 간섭을 최소화한다. 특히 2단계 파인튜닝에서는 고해상도 실세계 데이터에 집중해 배경 디테일을 보존하도록 학습한다.

데이터 측면에서 저자는 대규모 실세계 쌍을 자동 생성하는 파이프라인을 제안한다. 이미지‑투‑메시 모델로 객체를 복원하고, 차별화 가능한 렌더링으로 상대 카메라 포즈를 추정한다. 목표 포즈를 무작위 샘플링해 렌더링한 객체를 레퍼런스 인페인팅 모델로 기존 배경에 자연스럽게 합성함으로써, 실제 촬영 영상과 동일한 포맷의 학습 샘플을 만든다. 이 과정은 이미지뿐 아니라 비디오에도 적용 가능해, 시간 일관성을 유지한 학습 데이터를 제공한다.

실험에서는 GeoEditBench이라는 새로운 벤치마크와 기존의 이미지·비디오 편집 데이터셋을 활용해 정량·정성 평가를 수행한다. Ctrl&Shift는 PSNR/SSIM, LPIPS, 시점 일관성 지표에서 기존 3D‑기반 및 확산 기반 방법들을 크게 앞선다. 특히 사용자 설문에서 제어성·현실감 측면에서 최고 점수를 받았다. 한계점으로는 매우 복잡한 반사·투명 객체에 대한 정확한 포즈 추정이 아직 어려우며, 상대 포즈 입력이 부정확할 경우 결과가 불안정해질 수 있다. 향후 연구에서는 더 정교한 포즈 추정 및 다중 객체 동시 편집을 목표로 할 수 있다.