가우시안GPT: 단계별 생성으로 완성하는 3D 공간의 미래

초록

3D 생성 AI의 새로운 패러다임을 제시하는 ‘GaussianGPT’는 확산 모델 대신 GPT 방식의 자기회귀 모델을 사용해 3D 가우시안을 단계별로 생성합니다. 복잡한 3D 장면을 토큰 시퀀스로 압축한 후 변환기가 다음 공간 요소와 외관을 예측하는 방식으로, 완성, 확장, 제어 생성 등에 유연하게 대응할 수 있습니다.

상세 분석

본 논문이 제안하는 GaussianGPT의 핵심 기술 혁신은 3D 생성 모델링의 근본적인 접근법을 전환했다는 점에 있습니다. 기존의 확산 모델이 노이즈 제거를 통해 전체 장면을 ‘한꺼번에’ 정제하는 ‘전역적’ 방식이라면, GaussianGPT는 공간을 구성하는 요소(가우시안 프리미티브)를 ‘단계별’로 예측하여 조립해 나가는 ‘지역적’ 방식을 채택했습니다. 이 변화는 생성 과정의 해석 가능성과 제어성을 크게 높입니다.

구체적인 기술적 기여는 세 가지로 요약됩니다. 첫째, 효율적이고 구조화된 3D 표현의 창출입니다. 원본 3D Gaussian Splatting 데이터는 수만 개의 비정형 프리미티브로 이루어져 직접 모델링하기 어렵습니다. 논문은 이를 희소 3D CNN 오토인코더와 Lookup-Free Quantization(LFQ)을 통해 규칙적인 ‘잠재 그리드’로 압축합니다. 이는 고차원의 연속 신호를 이산 토큰의 집합으로 변환하는 핵심 전처리 단계입니다.

둘째, 3D 공간 구조를 이해하는 자기회귀 엔진의 설계입니다. 변환기가 1D 토큰 시퀀스를 처리할 때 단순한 시퀀스 순서가 아닌 실제 3D 좌표 관계를 이해하도록 ‘3D 회전 위치 임베딩(3D RoPE)‘을 도입한 것이 결정적입니다. 이는 토큰화 과정에서 필연적으로 손실되는 공간적 근접성 정보를 주의 메커니즘 내에 명시적으로 주입함으로써, 모델로 하여금 물리적 공간의 구조와 구성을 학습할 수 있게 합니다.

셋째, 생성과 제어를 통합한 유연한 프레임워크입니다. 위치 토큰과 특징 토큰을 분리된 어휘로 처리하여 기하학적 구조와 외관 속성을 명시적으로 분리하고, 고정된 청크 단위로 생성하여 컨텍스트 길이를 제한함으로써 대규모 장면 생성의 실용성을 확보했습니다. 이 설계는 ‘부분 장면이 주어졌을 때 나머지를 완성(Completion)‘하거나, ‘장면의 경계를 넘어 확장(Outpainting)‘하는 작업을 동일한 모델 아키텍처 내에서 자연스럽게 수행할 수 있는 토대를 마련합니다.

이 접근법은 생성형 AI의 트렌드가 단순한 출력 품질 경쟁을 넘어, 생성 과정의 제어성, 구성 가능성, 그리고 사용자 의도 반영의 정밀도로 확장되고 있음을 보여줍니다. GaussianGPT는 3D 콘텐츠 제작 파이프라인에 통합될 때, 예측 불가능한 샘플링 대신 의도된 공간 레이아웃을 따라 단계적으로 구체화되는 생성 방식을 제공함으로써, 게임 개발, 가상 현실 공간 설계 등 실용적 응용 분야에 큰 잠재력을 가지고 있습니다.