빠른 가우시안 스플래팅 최적화

초록

본 논문은 3D Gaussian Splatting(3DGS)의 학습 속도를 크게 향상시키는 통합 최적화 프레임워크인 Faster‑GS를 제안한다. 기존 연구에서 제시된 메모리 접근 감소, 커널 융합, 메모리 연속성 확보 등의 기법을 체계적으로 정리·평가하고, 새로운 메모리 공동 접근(coalescing) 및 그래디언트‑파라미터 동시 업데이트 방식을 추가한다. 실험 결과, 동일한 가우시안 수와 재구성 품질을 유지하면서 최대 5배 빠른 학습을 달성했으며, 4D 동적 장면에도 적용 가능함을 보였다.

상세 분석

Faster‑GS는 3DGS 파이프라인의 핵심 병목이 되는 메모리 바운드 연산을 다각도로 최적화한다. 첫째, 기존 타일 기반 소프트웨어 래스터라이저에서 발생하는 비연속 메모리 접근을 최소화하기 위해 Gaussian 데이터를 GPU 전역 메모리에서 연속적으로 배치하고, 각 스레드 블록이 동일한 타일에 속한 Gaussian을 공동으로 로드하도록 설계하였다. 이를 통해 메모리 공동 접근(coalescing) 효과가 극대화되어 L2 캐시 히트율이 크게 상승하고, 메모리 대역폭 사용 효율이 30% 이상 개선되었다.

둘째, 여러 연산 단계(예: 2D 투영, 바운딩 박스 계산, 알파 블렌딩)를 하나의 CUDA 커널로 융합(fusion)함으로써 커널 호출 오버헤드와 전역 메모리 중간 저장을 제거하였다. 특히, 역전파 단계에서 전방 연산 결과를 즉시 재사용하도록 하여 불필요한 메모리 복사를 없앴으며, 이는 전체 학습 시간의 약 12%를 절감한다.

셋째, 수치 안정성을 위해 Gaussian의 공분산 행렬을 직접 최적화하는 대신 회전 행렬(R)과 스케일 행렬(S)을 분리하고, S에 대한 지수 함수를 적용해 양의 반정밀도를 보장한다. 또한, 2D 투영 시 발생할 수 있는 작은 z값에 대한 정규화를 강화해 분모가 0에 가까워지는 상황을 방지하고, 그래디언트 폭주를 억제한다.

넷째, Gaussian 트렁케이션 임계값을 동적으로 조정하는 전략을 도입하였다. 기존 논문에서는 고정된 3.33σ를 사용했지만, Faster‑GS는 각 Gaussian의 가시성 마스크와 현재 학습 단계의 평균 알파 값을 고려해 트렁케이션 반경을 자동으로 축소한다. 이로써 불필요한 픽셀 업데이트를 줄이고, 메모리 사용량을 평균 25% 감소시켰다.

다섯째, 그래디언트 근사 방식을 개선하였다. 기존 3DGS는 파라미터별 개별 Adam 업데이트를 수행했지만, Faster‑GS는 가시성 가중치를 포함한 통합 그래디언트 벡터를 계산하고, 이를 한 번의 원자적(atomic) 연산으로 파라미터에 적용한다. 이는 파라미터 동기화 비용을 크게 낮추어 다중 GPU 환경에서도 스케일링이 용이하도록 만든다.

마지막으로, 4D Gaussian Splatting을 위한 시간 차원 확장을 검증하였다. 시간 축에 대한 추가 공분산을 도입하고, 시간별 가시성 마스크를 별도로 관리함으로써 비강체 장면에서도 기존 3DGS와 동등한 재구성 품질을 유지하면서 학습 속도를 4.3배 가속한다. 전체적으로 Faster‑GS는 구현 수준의 최적화와 알고리즘 수준의 개선을 균형 있게 결합해, 3DGS 연구 커뮤니티가 공통으로 사용할 수 있는 고성능 베이스라인을 제공한다.