정렬 기반 3D 가우시안 스플래팅 스타일 전이 프레임워크

초록

**
ABC‑GS는 3D 가우시안 스플래팅(3DGS)을 활용해 NeRF 기반 스타일 전이의 전역 스타일 반영 부족과 제어 어려움을 해결한다. 사용자는 마스크를 통해 콘텐츠와 스타일을 정밀히 매칭하고, 새로운 Feature Alignment Style Transfer(F‑AST) 손실로 전역 스타일을 정렬한다. 깊이 손실·가우시안 정규화로 기하 정보를 보존하면서 실시간 렌더링과 다중 뷰 일관성을 유지한다.

**

상세 분석

**
본 논문은 기존 NeRF 기반 3D 스타일 전이에서 가장 큰 한계로 지적된 두 가지 문제—전역 스타일 정보를 충분히 반영하지 못하는 NNFM 손실과 암시적 표현으로 인한 세밀한 제어 불가능성을 동시에 해결하고자 한다. 이를 위해 저자들은 3D Gaussian Splatting(3DGS)이라는 명시적 3D 표현을 채택한다. 3DGS는 각 가우시안을 평균, 공분산, 불투명도, 색상(구면조화 계수)으로 파라미터화하며, 빠른 미분 가능 레스터라이저를 통해 실시간 렌더링이 가능하다. 이러한 명시적 구조는 가우시안마다 의미론적 라벨을 할당하고, 마스크 기반 매칭을 수행함으로써 스타일 적용 범위를 정확히 제한할 수 있게 만든다.

컨트롤러블 매칭 단계에서는 SAM(Segment Anything Model)으로 얻은 콘텐츠 마스크를 3D 가우시안에 역투영하고, 각 가우시안에 대한 라벨 가중치 (w_{ji})를 계산한다. 이후 스타일 이미지에 대해 동일한 의미론적 라벨 마스크를 생성하고, 마스크 침식을 통해 경계 영역의 스타일 누수를 방지한다. 특히, 스타일 마스크 영역을 별도 이미지로 추출하고 미러링·색상 채우기 등으로 보완해 만든 “스타일 아이솔레이션”은 VGG‑16 기반 피처 추출 시 발생하는 교차 스타일 오염을 효과적으로 차단한다.

핵심 기여인 F‑AST 손실은 렌더링된 피처와 스타일 피처 사이의 전역 정렬을 목표로 한다. 먼저, 각 의미론적 매칭 그룹 (\Omega_z)에 대해 k‑최근접 이웃 관계를 이용해 어피니티 행렬 (A_z)를 구성한다. 이 행렬은 양쪽 피처 집합 간의 상호 최근접성을 0/1 값으로 표시해, 의미적으로 유사한 피처 쌍만을 정렬 대상으로 선정한다. 이후 최적화 문제 (\min_{P_z}\sum_{i,j}A_{ij}|P_z^T v_i^r - v_j^s|^2)를 풀어 정렬 행렬 (P_z)를 얻고, 이를 통해 정렬된 피처 (F_{rs})를 만든다. 손실은 코사인 유사도 (\mathcal{L}{FAST}=1-\frac{F_r\cdot F{rs}}{|F_r||F_{rs}|}) 형태로 정의돼, 전역 스타일 분포를 동시에 최소화한다.

스타일 전이만을 강조하면 원본 콘텐츠와 기하 구조가 손상될 위험이 있다. 이를 보완하기 위해 저자들은 다중 손실을 결합한다. 콘텐츠 보존 손실 (\mathcal{L}{con})은 렌더링 피처와 원본 피처 사이의 L2 차이를 최소화하고, 총변동 손실 (\mathcal{L}{tv})는 고주파 노이즈를 억제한다. 깊이 손실 (\mathcal{L}{dep})는 원본 가우시안으로부터 얻은 깊이 맵과 현재 렌더링 깊이 맵 사이의 차이를 최소화해 기하 정보를 유지한다. 마지막으로 스케일·불투명도 정규화 (\mathcal{L}{sca},\mathcal{L}_{opa})는 가우시안 파라미터가 과도하게 변형되는 것을 방지한다.

실험에서는 LLFF와 T&T 두 실제 장면 데이터셋을 사용하고, WikiArt·ARF 스타일 이미지와 비교한다. 단일 이미지, 합성, 의미론적 스타일 전이 세 가지 시나리오에서 ARF, Ref‑NPR, StyleGaussian 등 최신 NeRF 기반 방법과 비교했을 때, ABC‑GS는 전역 스타일 일관성, 색상 매칭 정확도, 그리고 다중 뷰 일관성 측면에서 우수한 시각적 결과를 보였다. 특히, 의미론적 라벨을 이용한 정밀 매칭과 F‑AST 손실 덕분에 스타일이 특정 객체에만 정확히 적용되고, 다른 영역으로 누수되지 않아 사용자가 원하는 부분만 선택적으로 스타일링할 수 있다. 또한 3DGS 기반이므로 실시간 렌더링이 가능해, 인터랙티브한 스타일 편집 워크플로우에 적합하다.

요약하면, ABC‑GS는 (1) 마스크 기반 의미론적 매칭으로 스타일 적용 영역을 정확히 제어, (2) 전역 피처 정렬을 통한 F‑AST 손실로 전체 스타일 일관성을 확보, (3) 깊이·정규화 손실로 원본 기하 정보를 보존, (4) 3DGS의 명시적 표현과 빠른 레스터라이저를 활용해 실시간 렌더링과 다중 뷰 일관성을 동시에 달성한다는 점에서 기존 NeRF 기반 스타일 전이의 한계를 크게 뛰어넘는다.

**