고품질 가구 합성을 위한 파라미터 공유 확산 아키텍처 RoomEditor++

초록

RoomEditor++는 파라미터를 공유하는 듀얼 디퓨전 백본을 도입해 가구 이미지를 실내 배경에 자연스럽게 삽입하는 모델이다. 새롭게 공개된 RoomBench++ 데이터셋(112,851개의 학습 쌍·1,832개의 테스트 쌍)과 결합해, 기존 이미지 합성 방법보다 기하학적 정합성과 텍스처 일관성에서 우수한 성능을 보이며, 실세계와 렌더링 장면 모두에 강력한 일반화 능력을 입증한다.

상세 분석

본 논문은 가구 합성이라는 특수한 이미지 편집 문제에 초점을 맞추면서, 두 가지 근본적인 한계를 동시에 해결한다. 첫 번째는 학습·평가용 벤치마크가 부족하다는 점이다. 기존의 3D 기반 데이터셋은 뷰포인트 정렬과 씬 재구성이 복잡하고, 텍스처 노이즈 등 실제 사진에서 나타나는 미세한 변동을 반영하지 못한다. 저자들은 이러한 문제를 인식하고, 실세계 실내 비디오와 전문가가 제작한 인테리어 렌더링을 결합한 RoomBench++를 구축하였다. 실세계 서브셋은 90,726개의 프레임을 자동 추출·클러스터링해 동일 가구 인스턴스를 식별하고, 렌더링 서브셋은 고품질 디자인 이미지와 라벨링을 통해 7,298개의 정밀 페어를 제공한다. 이렇게 두 서브셋을 혼합함으로써 데이터 다양성, 조명·질감 변동, 그리고 실제 상업적 활용성을 모두 확보한다.

두 번째 핵심 기여는 파라미터 공유 듀얼 디퓨전 백본이다. 기존 AnyDoor·MimicBrush와 같은 방법은 레퍼런스와 배경을 별도의 인코더·디코더에 흐르게 하여 특징 정렬이 흐트러지는 문제를 안고 있다. RoomEditor++는 U‑Net 혹은 DiT 구조를 그대로 유지하면서, 레퍼런스와 배경 이미지가 동일한 가중치를 공유하는 두 개의 디퓨전 스테이지를 병렬로 배치한다. 이 설계는 (1) 동일 레이어에서 동일 파라미터가 적용돼 두 이미지의 특징 맵이 자연스럽게 정렬되고, (2) 중간 단계에서 교차 어텐션 없이도 시멘틱·기하학적 일관성을 보장한다는 점에서 혁신적이다. 저자들은 실험적으로 파라미터 공유가 없는 베이스라인 대비 특징 코사인 유사도가 평균 12% 상승하고, 변형된 가구의 투시·스케일 보정 오류가 크게 감소함을 보고한다.

또한, 파라미터 공유 메커니즘은 텍스처 보존에 기여한다. 레퍼런스 이미지의 고주파 디테일이 디퓨전 과정에서 동일 필터를 통과함으로써 배경에 삽입될 때 손실이 최소화된다. 이를 검증하기 위해 저자들은 LPIPS·SSIM·FID 등 정량 지표와 함께 인간 평가(HITL) 실험을 수행했으며, RoomEditor++가 기존 최첨단 모델 대비 평균 0.07 높은 SSIM, 0.12 낮은 LPIPS, 그리고 8.3% 높은 인간 선호도를 기록했다.

마지막으로 일반화 능력에 대한 평가가 눈에 띈다. 모델을 RoomBench++ 외의 3D‑FUTURE와 DreamBooth 기반 이미지에 그대로 적용했을 때, 별도 파인튜닝 없이도 시멘틱 일관성과 경계 매끄러움이 유지되었다. 이는 파라미터 공유가 “특정 도메인에 종속된” 특징 학습을 억제하고, 보다 보편적인 이미지-이미지 매핑을 학습하도록 유도하기 때문이다. 전체적으로, 데이터 구축·아키텍처 설계·광범위한 실험이 유기적으로 결합돼 가구 합성 분야에 실용적이고 재현 가능한 솔루션을 제공한다는 점이 가장 큰 강점이다.