멀티오브젝트 시스템 식별 비디오 기반

초록

MOSIV는 다중 객체가 서로 충돌·변형하는 장면을 다중‑뷰 비디오로부터 4D 기하학 재구성과 연속체 물성 파라미터를 동시에 추정하는 프레임워크이다. 객체별 동적 Gaussian splatting을 이용해 시각적 재구성을 수행하고, 이를 차례로 물질점(MPM) 시뮬레이터에 전달한다. 차원 정렬된 표면·실루엣 손실을 통해 시뮬레이션 결과와 관측 영상을 직접 비교함으로써 연속적인 물성 파라미터(탄성계수, 포아송비, 마찰계수 등)를 gradient‑based로 최적화한다. 새롭게 만든 합성 벤치마크에서 기존의 카테고리 기반 모델 선택 방식보다 파라미터 추정 정확도와 장기 시뮬레이션 충실도가 크게 향상되었으며, 객체‑단위 세밀한 감독과 기하학 정렬 목표가 최적화 안정성의 핵심임을 보인다.

상세 분석

MOSIV는 “멀티오브젝트 시스템 식별”이라는 아직 정의되지 않은 문제를 명확히 규정하고, 이를 해결하기 위한 세 가지 핵심 모듈을 제시한다. 첫 번째는 객체‑인식 동적 Gaussian splatting(4DGS)이다. 기존 3D Gaussian splatting이 정적 장면에만 적용되었지만, MOSIV는 저차원 변형 베이스와 시간‑가중 게이트를 결합해 각 프레임마다 객체별 Gaussian 집합을 동적으로 변형한다. 이때 2D 물질 마스크와 인스턴스 마스크를 활용해 객체와 물질을 명시적으로 구분함으로써, 물리 파라미터 최적화 시 필요한 ‘물질 라벨’ 정보를 사전 제공한다.

두 번째 모듈은 차별화된 물질점 방법(Material Point Method, MPM)이다. MOSIV는 기존 MPM의 미분 가능성을 그대로 활용하면서, 각 물질에 대한 탄성·소성·점성 파라미터를 연속적인 벡터 θ로 표현한다. 특히 마찰을 물질 쌍 간의 대칭 함수 µₘ,ₘ′ = (µₘ+µₘ′)/2 로 모델링해 파라미터 수를 크게 줄이면서도 실제 접촉 마찰을 재현한다. 시뮬레이션 단계는 입자→그리드→입자 순환으로 구성되며, 모든 연산이 자동 미분 엔진에 의해 역전파 가능하도록 설계되었다.

세 번째는 기하학 정렬 목표이다. MOSIV는 시뮬레이션으로부터 얻은 입자 기반 표면 Sₖ(t)와 실루엣 Aⱼ,ₖ(t)를 각각 Chamfer 거리와 L1 실루엣 손실로 측정한다. 이 손실은 직접적으로 관측 영상과 비교되므로, 물리 파라미터가 시각적 일관성을 유지하도록 강제한다. 특히 다중 객체가 겹치거나 가려지는 상황에서도 객체별 마스크를 이용해 손실을 객체 단위로 분리함으로써, 파라미터가 서로 간섭하지 않도록 한다.

실험에서는 새로 만든 합성 데이터셋(다양한 탄성·플라스틱·마찰 조합, 복잡한 접촉 시나리오)에서 OMNIPHYS와 CoupNeRF를 동일 조건으로 재구성해 비교하였다. MOSIV는 평균 파라미터 L2 오차를 35% 이상 감소시키고, 30프레임 이상의 장기 시뮬레이션에서 위치 오차가 2배 이하로 유지되는 등 정량적·정성적으로 우수함을 입증한다. Ablation study에서는 (1) 객체‑단위 물성 파라미터 할당, (2) 기하학 정렬 손실, (3) 다중 객체 초기화 시 겹침 방지가 각각 최적화 안정성에 기여함을 확인한다.

한계점으로는 (a) 물질 마스크가 필요하다는 전제, (b) 현재는 합성 데이터에만 검증했으며 실제 촬영 영상에서의 노이즈·조명 변화에 대한 강건성 검증이 부족함, (c) MPM 시뮬레이션 비용이 여전히 높은 편이라 실시간 응용에는 제한이 있다. 향후 연구에서는 자동 물질 마스크 추출, 하드웨어 가속 MPM, 그리고 실제 로봇 매니퓰레이션 파이프라인과의 통합을 통해 실용성을 높일 수 있을 것이다.