3D 가우시안 스플래팅을 위한 시점 편향 제거와 일관성 강화

초록

본 논문은 텍스트‑투‑이미지(T2I) 확산 모델이 갖는 ‘시점 편향(prior view bias)’ 문제를 수학적으로 분석하고, 이를 해소하기 위한 두 가지 모듈인 3D‑Aware Attention Guidance(3D‑AAG)와 Hierarchical Attention Modulation(HAM)을 제안한다. 3D‑AAG는 다중 뷰의 2D 교차‑어텐션(CA) 맵을 역투영해 3D 가우시안 형태의 일관된 어텐션 분포를 구축함으로써 시점 간 불일치를 완화하고, HAM은 대규모 언어 모델이 생성한 의미 가이드 트리(SGT)를 활용해 시점에 민감한 UNet 레이어와 헤드를 자동으로 탐지·조정한다. 실험 결과, 제안된 TD‑Attn 프레임워크는 3D 가우시안 스플래팅 기반 생성·편집 작업에서 기존 방법 대비 뚜렷한 다중‑시점 일관성을 달성한다.

상세 분석

본 연구는 먼저 T2I 확산 모델이 학습 데이터의 시점 분포 불균형으로 인해 ‘시점 편향’(prior view bias)을 내재하게 된다는 점을 수학적으로 증명한다. 논문은 텍스트 프롬프트 Y = ⟨y_obj, v*⟩와 시점 분포 p_D(v|y_obj) 사이의 관계를 식(1)·(2)로 정형화하고, 시점 편향 계수 ε를 도입해 실제 시점 조건 v*와 사전 시점(v_prior) 사이의 확률 비율 R을 도출한다. R ≫ 1이면 사전 시점이 우세해 Janus 현상이 발생하고, R ≈ ε이면 두 시점이 혼합된 ‘특징 오염(feature‑contaminated)’ 현상이 나타난다. 이러한 확률적 해석은 3D 최적화 과정에서 다중 뷰의 2D 손실이 누적될 때, 시점 편향이 그래디언트에 부정적 영향을 미쳐 3D 파라미터 φ의 업데이트를 왜곡한다는 식(4)·(5)로 이어진다. 특히, ∇_z φ log C ≪ 0인 경우가 큰 음의 그래디언트를 유발해 시점 조건과 상충하는 객체 특징이 동시에 강화되는 현상을 설명한다.

이를 해결하기 위해 제안된 3D‑AAG는 각 디노이징 스텝에서 UNet의 CA 맵 S_v^2D를 3D 가우시안에 역투영한다. 가우시안 i에 대한 누적 어텐션 가중치 w_i는 식(6)으로 정의되며, 여기서 투과도 T_v_i(p)와 불투명도 o_i(p) 등을 고려해 다중 뷰의 어텐션을 정량적으로 합산한다. 이렇게 구축된 3D 어텐션 가우시안은 시점에 독립적인 공간적 확산을 제공해, 개별 2D CA 맵이 갖는 제한된 해상도와 시점 편향을 보정한다.

HAM은 또 다른 핵심 구성요소다. 대규모 언어 모델(Large Language Model, LLM)을 이용해 의미 가이드 트리(Semantic Guidance Tree, SGT)를 자동 생성한다. SGT는 ‘시점’, ‘색상’, ‘재질’ 등 편집에 필요한 의미 토큰을 계층적으로 정리하고, 각 토큰이 UNet 내부 어느 레이어·헤드에서 가장 높은 응답을 보이는지를 SRP(Semantic Response Profiler)로 탐색한다. 탐색된 레이어는 가중치 α_l을 부여해 조정되며, 이는 해당 레이어의 CA 스코어를 시점 조건에 맞게 강화·감쇠한다. 결과적으로 시점에 민감한 레이어가 정확히 보정되면서, 3D‑AAG가 생성하는 3D 어텐션 가우시안 역시 더 일관된 형태로 수렴한다. HAM은 시점 외에도 색상·재질 등 다른 의미적 속성을 독립적으로 제어할 수 있어, 3D 편집 시 세밀한 사용자 의도를 반영한다는 장점을 갖는다.

실험에서는 기존 텍스트‑투‑3D 파이프라인(예: DreamFusion, Magic3D 등)과 비교해, TD‑Attn을 플러그인 형태로 삽입했을 때 PSNR·LPIPS·CLIP‑Score 등 정량 지표가 전반적으로 10 % 이상 향상되었으며, 특히 다중 뷰 렌더링 시 Janus 현상이 현저히 감소했다. 정성적 평가에서도 ‘뒤쪽 보기(back view)’ 프롬프트에 대해 사전 시점이 섞여 나타나는 현상이 거의 사라지고, 색상·재질 교체와 같은 세밀 편집에서도 원하는 의미가 정확히 반영되는 것을 확인했다.

요약하면, 본 논문은 시점 편향이라는 근본적인 문제를 이론적으로 규명하고, 3D‑AAG와 HAM이라는 두 단계의 어텐션 보정 메커니즘을 통해 3D 가우시안 스플래팅 기반 생성·편집 시스템에 범용적인 일관성 향상 플러그인을 제공한다.