스타일 강도 조절 가능한 3D 스타일 전송

초록

본 논문은 3D Gaussian Splatting(3DGS) 기반의 3D 스타일 전송에 스타일 강도를 자유롭게 조절할 수 있는 새로운 파라다임인 Tune‑Your‑Style를 제안한다. Gaussian 뉴런을 도입해 스타일 강도를 명시적으로 모델링하고, 학습 가능한 스타일 튜너로 0 %부터 100 %까지 연속적인 강도 조절이 가능하도록 설계하였다. 또한 2D diffusion 모델을 활용한 **Tunable Stylization Guidance(TSG)**를 통해 다중 뷰 일관성을 유지하면서 전체‑스타일 가이드와 제로‑스타일 가이드를 단계적으로 결합한다. 실험 결과, 기존 3DGS·NeRF 기반 방법보다 시각적 품질과 사용자 맞춤성에서 우수함을 보였다.

상세 분석

Tune‑Your‑Style는 3D 스타일 전송에서 가장 어려운 “콘텐츠와 스타일 간의 균형” 문제를 근본적으로 해결한다는 점에서 의미가 크다. 기존 3DGS 기반 방법들은 스타일을 한 번 적용한 뒤 고정된 출력만을 제공했으며, 사용자는 결과물의 강도를 직접 조정할 수 없었다. 이 논문은 두 가지 핵심 기술을 도입한다. 첫 번째는 Gaussian Neurons이다. 3DGS의 각 Gaussian 프리미티브에 대해 학습 가능한 뉴런을 할당하고, 이 뉴런이 위치, 스케일, 회전, 불투명도, 색상 등 모든 속성에 대한 오프셋을 예측한다. 이렇게 얻어진 오프셋은 스타일 이미지 Sₖ에 조건화되어, 스타일 강도 자체를 수치화된 벡터(Δμᵢ, ΔSᵢ, …)로 표현한다. 두 번째는 Style Tuner와 **Staircase Function H(·)**이다. 스타일 튜너는 0 %(제로 스타일)와 100 %(풀 스타일) 두 끝점 사이의 연속적인 값을 입력받아, H(·)를 통해 이 값을 이산화하고, 다시 임베딩 V_β 로 매핑한다. 최종적으로 V_β와 Gaussian Neurons의 출력 G(Sₖ,Θ)를 원소별 곱셈(⊙)함으로써 원하는 강도 β에 맞는 스타일 변형 ˆΘ_βₖ = Θ + V_β ⊙ G(Sₖ,Θ) 를 얻는다. 이 과정은 스타일 강도를 직접 조절할 수 있는 파라미터 β를 노출함으로써, 사용자는 UI 슬라이더 하나만으로도 과도한 스타일링(Over‑stylization)이나 스타일 부족(Under‑stylization) 문제를 즉시 해결한다.

스타일 강도 조절을 학습시키기 위한 Tunable Stylization Guidance(TSG) 역시 혁신적이다. 2D diffusion 모델(IP‑Adapter 등)을 이용해 현재 3D 씬을 다양한 뷰에서 렌더링하고, 각 뷰에 대해 스타일 이미지 Sₖ를 조건으로 하여 스타일링된 이미지 Iₖᵥ를 생성한다. 그러나 단순히 이러한 이미지들을 손실 함수에 사용하면 뷰 간 일관성이 깨져 3D 텍스처가 흐려지는 문제가 발생한다. 이를 해결하기 위해 논문은 Cross‑View Style Alignment를 제안한다. 앵커 뷰를 하나 선택하고, 앵커 뷰의 특징을 다른 뷰의 self‑attention에 key/value 로 주입한다. 여기서 특징 정합을 위해 앵커 뷰의 깊이 맵을 이용해 3D 공간으로 역투영한 뒤 현재 뷰로 재투영해 warped feature 를 얻고, 이를 기존 뷰 특징과 결합한다. 이렇게 하면 스타일 텍스처가 뷰마다 일관되게 전달되면서도 내용(Content) 왜곡을 최소화한다.

TSG는 두 단계 최적화를 적용한다. 1단계에서는 풀‑스타일 가이드(스타일링된 뷰)와 제로‑스타일 가이드(원본 렌더링) 사이의 가중치를 β에 따라 조절해 손실을 계산한다. 2단계에서는 β를 점진적으로 변화시켜 스타일 튜너가 다양한 강도에 대해 안정적으로 수렴하도록 한다. 이와 함께 3D Gaussian Filter를 도입해 중요도가 낮은 Gaussian 프리미티브를 제거함으로써, 불필요한 아티팩트가 스타일링 과정에서 증폭되는 것을 방지한다.

실험에서는 기존 NeRF‑기반(StyleRF, CoARF 등) 및 3DGS‑기반(G‑Style, InstantStyleGaussian 등) 방법들과 정량·정성 비교를 수행했다. PSNR, SSIM, LPIPS 등 객관적 지표뿐 아니라 사용자 설문에서도 Tune‑Your‑Style가 선호도가 가장 높았다. 특히 “강도 조절 슬라이더를 움직였을 때 결과가 부드럽게 변한다”는 점이 사용자 경험(UX) 측면에서 큰 장점으로 평가되었다.

요약하면, 이 논문은 (1) 스타일 강도를 명시적으로 모델링하는 Gaussian Neuron 기반 구조, (2) 이산화·임베딩을 통한 연속적인 강도 조절 메커니즘, (3) 2D diffusion 기반 다중 뷰 일관성 확보를 위한 Cross‑View Style Alignment, (4) 두 단계 손실 설계와 중요도 기반 Gaussian 필터링이라는 네 가지 핵심 기여를 통해 3D 스타일 전송 분야에 새로운 맞춤형 패러다임을 제시한다.