신경망 기반 관절형 물체 근사

초록

NASA는 포즈에 조건화된 신경망 기반 점유 함수로 인간과 같은 관절형 물체를 효율적으로 표현한다. 기존의 메쉬와 스키닝 방식은 복잡한 가속 구조와 워터티니스 문제를 안고 있으나, NASA는 암시적 함수로 직접 점유 테스트가 가능해 실시간 3D 트래킹에 적합하다. 파트별 강체와 변형 가능 파트를 결합한 구조가 일반화 성능을 크게 향상시킨다.

상세 분석

본 논문은 관절형 변형 객체를 기존의 다각형 메쉬 기반 스키닝 방식이 아닌, 포즈에 조건화된 신경 임시 함수(occupancy function)로 모델링한다는 점에서 혁신적이다. 핵심 아이디어는 3‑D 공간의 점 x와 포즈 파라미터 θ를 입력으로 받아, 해당 점이 물체 내부에 있는지를 0‒1 값으로 반환하는 신경망 O₍ω₎(x|θ)를 학습하는 것이다. 이를 위해 저자들은 세 가지 아키텍처를 제안한다. 첫 번째는 전역 MLP에 포즈 변환 행렬을 단순히 concatenate 하는 ‘U’ 모델로, 구조적 정보를 전혀 활용하지 않아 포즈 변화에 대한 일반화가 제한적이다. 두 번째는 파트별 강체 가정에 기반한 ‘R’ 모델로, 각 파트를 고정된 형태의 암시적 함수 \bar O_b 로 표현하고, 포즈 변환 B_b 의 역변환을 적용해 강체 좌표계에서 점유를 판단한다. 이는 강체 파트가 많을수록 메모리와 연산이 증가하지만, 강체 변형이 거의 없는 경우에 효율적이다. 세 번째가 가장 핵심적인 ‘D’ 모델이다. 여기서는 각 파트의 형태가 포즈에 따라 변형될 수 있도록, 파트별 임베딩 z 와 선형 투영 Π_b 을 도입한다. 즉, \bar O_b 는 (B_b⁻¹ x, Π_b(B_b⁻¹ t₀))를 입력으로 받아 변형된 형태를 학습한다. 이 설계는 실제 인간 스키닝에서 소수의 인접 파트만이 특정 파트에 영향을 미친다는 도메인 지식을 반영한 것으로, 파라미터 수를 크게 늘리지 않으면서도 복잡한 비선형 변형을 표현한다.

학습 목표는 점유 함수와 실제 메쉬 기반 점유 사이의 L2 손실을 최소화하는 것이며, 샘플링은 물체 전체 부피와 표면 근처에서 균등하게 이루어진다. 추가적으로, 기존 스키닝 가중치 정보를 활용한 보조 손실 L_weights 을 도입해 파트별 책임성을 강화한다. 이는 파트가 서로 겹치거나 한 파트가 전체를 차지하는 퇴화 현상을 방지한다.

실험에서는 SMPL 기반 인간 데이터와 자체 제작한 애니메이션 시퀀스를 사용해 세 모델을 비교한다. ‘U’ 모델은 포즈 변동에 취약해 정확도가 급격히 떨어지지만, ‘R’ 모델은 강체 가정 덕분에 중간 정도의 성능을 보인다. ‘D’ 모델은 변형 파트와 선형 투영을 결합함으로써, 기존 정적 암시적 모델(DeepSDF, Occupancy Networks 등)보다 10% 이상 높은 IoU와 표면 재구성 정확도를 달성한다. 또한, 점유 쿼리당 0.06 ms(1080 GTX)라는 실시간 수준의 속도를 유지한다.

추가 응용으로는 점유 함수를 직접 활용한 3‑D 포즈 트래킹이 제시된다. 기존 메쉬 기반 트래커는 복잡한 최적화와 가속 구조 재구축이 필요했으나, NASA 기반 트래커는 점유 함수와 포즈 파라미터를 동시에 미분 가능하게 최적화함으로써 몇 줄의 코드만으로 구현 가능하고, 실시간 성능을 확보한다.

전체적으로 본 논문은 (1) 포즈 조건화된 암시적 표현의 설계, (2) 파트별 강체·변형 결합 아키텍처, (3) 보조 스키닝 가중치 손실을 통한 학습 안정성, (4) 실시간 점유 쿼리와 트래킹 적용이라는 네 가지 주요 공헌을 제시한다. 향후 연구는 더 복잡한 토폴로지 변화(예: 옷의 겹침)와 다중 객체 상호작용에 대한 확장, 그리고 비지도 파트 디스커버리와 결합하는 방향으로 진행될 수 있다.