3D 자산을 활용한 이미지 생성 확산 모델

초록

**
RefAny3D는 다중 뷰 RGB 이미지와 3D 포인트 맵을 동시에 입력으로 받아, 색상과 정규화된 객체 좌표를 공동으로 모델링하는 이중‑브랜치 확산 네트워크를 제안한다. 공간적으로 정렬된 두 출력(RGB 이미지와 포인트 맵)을 생성함으로써 3D 자산의 기하·텍스처 일관성을 유지하면서 고품질 이미지를 만든다.

**

상세 분석

**
본 논문은 기존 2D 이미지 기반 레퍼런스 생성 방식이 3D 구조 정보를 활용하지 못한다는 한계를 지적하고, 이를 극복하기 위한 새로운 프레임워크인 RefAny3D를 설계하였다. 핵심 아이디어는 3D 객체를 다중 뷰 RGB‑포인트 맵 쌍으로 표현하고, 이를 조건으로 사용해 확산 모델이 두 도메인(RGB와 포인트 맵)을 동시에 생성하도록 하는 것이다.

1. 이중‑브랜치 구조: 하나의 디코더 안에서 RGB와 포인트 맵 토큰을 별도 LoRA( Low‑Rank Adaptation) 모듈로 분리하고, 텍스트‑무관 어텐션을 적용해 두 도메인의 정보 혼합을 최소화한다. 이를 통해 포인트 맵이 배경 정보에 의해 오염되는 현상을 방지한다.
2. 공유 위치 인코딩: 두 도메인의 토큰에 동일한 위치 임베딩을 부여함으로써, 동일 픽셀 위치에 해당하는 RGB와 포인트 맵 토큰이 높은 어텐션 점수를 얻어 공간 정렬을 자연스럽게 유지한다. 위치 시프트( (i‑w, j) )를 도입해 조건 토큰과 목표 토큰이 겹치지 않도록 설계하였다.
3. 도메인 디커플링: Domain‑specific LoRA와 텍스트‑agnostic 어텐션을 결합해, RGB 흐름은 풍부한 색·조명 정보를, 포인트 맵 흐름은 순수한 3D 좌표 정보를 각각 최적화한다. 이렇게 하면 복잡한 텍스처를 가진 3D 자산에서도 기하학적 일관성을 유지하면서 고해상도 이미지를 생성할 수 있다.
4. 데이터 준비: 논문에서는 객체‑포즈 정렬된 데이터셋을 구축하여, 각 뷰마다 정확히 정렬된 RGB와 포인트 맵을 제공한다. 이는 모델이 “정규화된 객체 좌표 ↔ 색상” 관계를 학습하는 데 필수적이다.
5. 실험 및 평가: 다양한 3D 모델(복잡한 기하와 섬세한 텍스처)과 텍스트 프롬프트를 사용해 정량·정성 평가를 수행했으며, 기존 2D 레퍼런스 기반 방법 대비 기하·텍스처 일관성 점수가 크게 향상되었다. 특히, 뷰 간 일관성을 유지하면서도 배경·조명 변화를 자연스럽게 반영하는 능력이 돋보인다.
   이러한 설계는 3D 자산을 직접 레퍼런스로 활용해 이미지 생성·편집을 수행하고자 하는 콘텐츠 제작, 광고, 게임·AR/VR 등 다양한 분야에 실용적인 솔루션을 제공한다.

**