Title: MatSpray: Fusing 2D Material World Knowledge on 3D Geometry
ArXiv ID: 2512.18314
발행일: 2025-12-20
저자: Philipp Langsteiner, Jan-Niklas Dihlmann, Hendrik P. A. Lensch
📝 초록 (Abstract)
우리는 2D 확산 모델에서 얻은 재질 지식을 활용하여 3차원 재조명 가능한 객체를 복원한다. 대상 객체의 다중 뷰 이미지가 주어지면, 먼저 任意의 2D 확산 기반 재질 모델을 이용해 각 뷰별 PBR 재질(베이스 컬러, 러프니스, 메탈릭)을 예측한다. 이 2D 예측값을 가우시안 레이 트레이싱을 통한 3D 가우시안 스플래팅 재구성에 통합한다. 마지막으로 신경망 정제 단계에서 소프트맥스 기반 제약을 적용해 다중 뷰 일관성을 강제하고 재질의 물리적 정확성을 향상시킨다. 최종적으로 생성된 3D 자산은 새로운 조명 조건에서도 고품질의 완전 재조명 가능한 PBR 재질을 제공한다.
💡 논문 핵심 해설 (Deep Analysis)
MatSpray는 최근 급부상한 2차원 확산 모델의 풍부한 재질 표현 능력을 3차원 가우시안 스플래팅 파이프라인에 접목함으로써, 기존 3D 재구성 방법이 직면하던 물리 기반 렌더링(PBR) 재질의 정확도와 일관성 문제를 효과적으로 해결한다. 첫 단계에서는 다중 시점 이미지로부터 각 시점마다 베이스 컬러, 러프니스, 메탈릭과 같은 PBR 파라미터를 추출한다. 여기서 중요한 점은 ‘any 2D diffusion‑based material model’을 사용할 수 있다는 점이다. 즉, Stable Diffusion, Imagen 등 최신 텍스트‑투‑이미지 확산 모델에 재질 프롬프트를 결합하거나, 전용 재질 생성 모델을 적용함으로써, 기존의 전통적인 재질 추정 방법보다 훨씬 풍부하고 세밀한 텍스처 정보를 얻을 수 있다.
다음으로, 이러한 2D 재질 맵을 3D 가우시안 스플래팅에 통합한다. 가우시안 스플래팅은 점 구름을 가우시안 분포로 표현해 고해상도 뷰 합성을 가능하게 하는 최신 신경 렌더링 기법이다. 여기서 가우시안 레이 트레이싱을 사용해 각 가우시안에 색상과 재질 속성을 투영함으로써, 기존의 볼류메트릭 렌더링보다 계산 효율성을 유지하면서도 정밀한 재질 표현을 달성한다.
마지막 정제 단계에서는 신경망이 소프트맥스 기반 제약을 적용한다. 이 제약은 서로 다른 시점에서 예측된 재질 값이 물리적으로 일관되도록 강제한다. 예를 들어, 동일한 표면에 대해 서로 다른 뷰에서 추출된 러프니스 값이 크게 차이날 경우, 소프트맥스 정규화를 통해 평균화하고, 동시에 물리적 범위(0~1) 내에 머물도록 조정한다. 이러한 과정은 재질의 스펙트럼 일관성을 보장함과 동시에, 기존 2D 확산 모델이 갖는 ‘노이즈’와 ‘과도한 창의성’으로 인한 비물리적 결과를 억제한다.
결과적으로 MatSpray는 2D 확산 모델의 창의적 표현력과 3D 가우시안 스플래팅의 고해상도 재구성 능력을 결합해, 다중 뷰 일관성을 유지하면서도 물리 기반 조명 하에서 정확히 재조명 가능한 3D 자산을 생성한다. 이는 게임, AR/VR, 디지털 트윈 등 실시간 렌더링이 요구되는 분야에서 고품질 PBR 재질을 빠르게 제작할 수 있는 새로운 워크플로우를 제시한다.
📄 논문 본문 발췌 (Excerpt)
## 3D 재조명 가능한 PBR 재질 생성: 2D 확산 모델 기반 매터리얼 스프레이
서론:
이 논문은 3D 장면의 재조명이 가능한 물리적으로 정확한 PBR(Physically Based Rendering) 재질을 생성하기 위한 새로운 접근법을 제시합니다. 우리의 방법은 2D 확산 모델을 기반으로 한 매터리얼 스프레이 기술을 3D 가우시안 표현과 결합하여, 공간적으로 변하는 베이스 컬러, 거친면도 및 금속성 매개변수를 포함하는 재질 맵을 생성합니다.
기존 문제점:
전통적인 신경 3D 재구성 방법은 이미지에서 광원과의 연관성을 분리하여 텍스처나 계수 형태로 재질과 관련된 정보를 추출하기 때문에 물리적으로 정확한 재조명을 위한 재질 매개변수를 제공하지 못합니다. 고전적인 역 렌더링은 강력한 가정을 필요로 하며, 재료가 공간적으로 변할 때 취약한 점이 있습니다. 최근 2D 재질 예측기는 대규모 데이터에서 풍부한 선행 정보를 학습하여 이미지에서 PBR 맵을 생성할 수 있지만, 이들은 3D 표현과 직접적으로 연관되지 않습니다.
제안 접근법:
가우시안 기반 전이: 우리는 2D 재질 예측 결과를 3D 가우시안 표현으로 전이하기 위해 가우시안 레이 트레이싱 메커니즘을 활용합니다.
신경 머저(Neural Merger): 공간적으로 변하는 재질 매개변수를 통합하고 다관성 일관성을 유지하기 위해 가벼운 신경 회귀인 신경 머저를 도입했습니다. 이 신경망은 각 가우시안에서 여러 뷰의 재질 추정치를 집계하여 베이크드-인 조명 효과를 제거합니다.
더 빠른 재구성: 우리의 접근법은 3.5배 더 적은 최적화 시간으로 고품질의 3D 재질을 재구성할 수 있는 효율적인 프로젝션 및 최적화 스키마를 제공합니다.
기존 방법과의 차별점:
세계 재질 융합(World Material Fusion): 우리의 방법은 스와핑 가능한 확산 기반 2D PBR 선행 정보를 세계 재질 지식으로 결합하고, 가우시안 레이 트레이싱과 PBR 일관성 제재를 통해 재조명이 가능한 3D 재질을 얻습니다.
신경 머저(Neural Merger): 신경 머저는 각 가우시안에 대한 여러 뷰의 재질 추정치를 집계하고, 베이크드-인 조명을 억제하며, 관점 간 일관성을 유지합니다.
더 빠른 재구성: 단순한 프로젝션과 최적화 스키마를 통해 높은 품질의 재조명 가능한 3D 재질을 3.5배 더 빠르게 재구성할 수 있습니다.
실험 결과:
우리의 방법은 다양한 물체에서 재조명과 공간적으로 변하는 재질 매개변수를 정확하게 추정한다는 점에서 경쟁 방법보다 우수한 성능을 보였습니다. 특히, 우리의 접근법은 금속성 및 매우 반사성 표면과 같은 도전적인 사례에서 더 나은 결과를 보여주었습니다.
