신경망 가우시안 힘장으로 물리 기반 4D 동역학 학습

초록

NGFF는 다중 시점 RGB 영상을 3D 가우시안으로 변환하고, 객체 중심의 신경망 힘장을 학습해 ODE 기반 시뮬레이션으로 4D 물리적 비디오를 생성한다. 기존 가우시안 시뮬레이터 대비 100배 빠른 속도와 높은 물리 일관성을 보이며, 새롭게 만든 640k 샘플의 GSCollision 데이터셋을 통해 합성·실제 장면 모두에서 강력한 일반화와 시뮬‑투‑실 전이 능력을 입증한다.

상세 분석

본 논문은 시각 인식과 물리 시뮬레이션을 하나의 엔드‑투‑엔드 파이프라인으로 통합한 Neural Gaussian Force Field(NGFF)를 제안한다. 핵심 아이디어는 1) 피드‑포워드 트랜스포머 기반의 3D 가우시안 재구성 모듈, 2) SAM2 기반 객체 마스크를 이용한 객체‑별 가우시안 분할, 3) 관계 그래프 위에서 동작하는 DeepONet 스타일의 신경 연산자를 통해 전역·국부 힘장을 예측하고, 4) 이 힘장을 2차 ODE 솔버에 입력해 연속적인 물리 궤적을 얻는 것이다.

가우시안 재구성 단계에서는 DINOv2 이미지 토크나이저와 교차‑주의(Alternating‑Attention) 트랜스포머를 활용해 카메라 포즈와 가우시안 중심, 색·크기·방향 등 속성을 동시에 예측한다. 이는 기존 NeRF나 포인트 클라우드 방식에 비해 학습·추론 속도가 크게 향상되며, 특히 복잡한 배경과 다중 객체가 존재하는 장면에서도 안정적인 3D 표현을 만든다.

객체 분할 후에는 각 객체에 대한 의미적 특징 h와 0차·1차 동역학 상태(s, ẋ 등)를 PointNet과 로컬 포인트 클라우드에서 추출한다. 이렇게 정형화된 상태 벡터는 관계 그래프의 노드가 되고, 물리 접촉 정보를 엣지로 연결한다. 그래프 신경 연산자는 각 노드의 상태와 이웃 노드의 상태를 결합해 전역 힘 벡터 F_global을 생성한다. 여기서 f_η와 f_ϕ는 각각 상태 인코더와 상호작용 인코더 역할을 하며, 원소‑곱과 선형 변환을 통해 물체 간 충돌, 마찰, 중력 등을 통합한다.

소프트 바디 변형을 다루기 위해서는 Contact Area Mask(CAM)를 이용해 접촉 영역을 강조하고, 별도의 Φ 네트워크가 점별 로컬 스트레스 필드 F_local을 예측한다. 최종 힘장은 F = F_global + F_local 형태로 합성되며, 이는 물리적으로 의미 있는 토크와 힘을 동시에 제공한다.

예측된 힘장은 연속적인 시간 흐름을 ODE 솔버(예: Dormand‑Prince)로 적분한다. 2차 미분 형태의 ODE는 가속도와 각가속도를 직접 다루어 물체의 위치·속도·회전 변화를 정확히 추적한다. 이 과정은 완전 미분 가능하므로, 렌더링 손실을 통해 힘장 네트워크를 역전파로 학습할 수 있다.

학습 전략은 두 단계로 나뉜다. 첫 단계에서는 WildRGBD 기반 실제 이미지와 깊이 지도에 대해 가우시안 재구성 모듈을 사전 학습하고, 카메라와 기하 손실을 고정한다. 두 번째 단계에서는 대규모 MPM 시뮬레이션(재질·탄성·충돌 등)으로부터 얻은 정답 궤적에 대해 힘장 네트워크를 MSE 손실로 학습한다. 이렇게 하면 시각 도메인과 물리 도메인 사이의 도메인 격차를 최소화하면서도 안정적인 학습이 가능하다.

성능 평가에서는 새로 만든 GSCollision 데이터셋(640k 비디오, 4TB 규모)을 활용해 합성 및 실제 장면에서의 동적 예측 정확도, 물리 일관성, 그리고 시점·배경 변환 능력을 측정한다. NGFF는 기존 Particle‑former, VEO3, NVIDIA Cosmos 등에 비해 위치·속도 오차가 30% 이상 감소하고, 시뮬레이션 속도는 0.01 s/프레임 수준으로 100배 가량 빠르다. 또한, 객체 수·배치·재질이 변하는 OOD 상황에서도 안정적인 예측을 유지한다.

전반적으로 NGFF는 (1) 가우시안 기반의 효율적인 3D 재구성, (2) 신경 연산자를 통한 물리‑우선 힘장 학습, (3) 미분 가능한 ODE 통합이라는 세 축을 결합해, 고품질 비디오 생성과 물리적 타당성을 동시에 만족시키는 최초의 프레임워크라 할 수 있다. 향후 로봇 제어, AR/VR 시뮬레이션, 물리 기반 콘텐츠 제작 등 다양한 응용 분야에 활용 가능성이 크다.