확률적 CAD 모델을 이용한 역그래픽스와 3D 인식

초록

본 논문은 확률적 CAD(PCAD) 프로그램을 기반으로 한 생성 모델을 제시하고, 이를 블렌더 렌더러와 결합한 근사 역그래픽스 프레임워크를 구축한다. 변형 가능한 3D 메쉬와 어핀 변환을 잠재 변수로 두고, 중간 수준의 컨투어 표현을 이용한 이미지 유사도 기반 likelihood를 정의한다. 단일 사이트 Metropolis‑Hastings, 블록 제안, Hamiltonian Monte Carlo, 그리고 학습된 데이터‑드리븐 제안을 혼합한 MCMC 추론 알고리즘을 설계한다. 인간 자세 추정과 일반 물체 형태 복원 두 과제에 적용해 기존 최첨단 방법보다 정량·정성적으로 우수한 결과를 얻는다.

상세 분석

이 논문은 컴퓨터 그래픽스 엔진을 확률적 장면 생성기(Stochastic Scene Generator, SSG)로 활용함으로써 “역그래픽스”라는 오래된 아이디어를 현대적인 베이지안 추론과 결합한다. 핵심은 두 단계로 나뉜다. 첫 번째는 PCAD 프로그램을 통해 3D 메쉬와 어핀 변환을 샘플링하는데, 여기서는 가우시안 프로세스(GP)를 이용해 라팅(lathing) 형태의 물체 프로파일을 비정형적으로 모델링한다. GP의 하이퍼파라미터(커버넌스 길이)까지 추정함으로써 복잡하고 다양한 형태를 자연스럽게 표현한다. 두 번째는 렌더링 엔진(Blender)에서 3D 장면을 2D 중간 수준 표현, 즉 컨투어 맵과 거리 변환을 이용한 chamfer distance 기반 likelihood로 변환한다. 이 접근은 픽셀 수준의 변동성을 피하면서도 형태 정보를 충분히 보존한다는 장점이 있다.

추론 측면에서는 고차원 연속·이산 변수와 강한 결합성을 가진 후방분포를 직접 샘플링하기 어려워, 다중 제안 커널을 설계한다. (1) 단일 사이트 Metropolis‑Hastings는 연속 변수에 가우시안 제안, 이산 변수에 Gibbs 샘플링을 적용한다. (2) 블록 제안은 어핀 변환과 메쉬 파라미터를 동시에 업데이트해 변수 간 상관관계를 효율적으로 탐색한다. (3) 데이터‑드리븐 제안은 사전 생성된 (이미지, 라벨) 쌍을 K‑NN으로 매칭해 커널 밀도 추정(KDE) 기반의 제안을 만든다. 이는 특히 복잡한 관절이나 가려진 부분에서 지역 최소점에 빠지는 문제를 완화한다. (4) Hamiltonian Monte Carlo은 연속 변수에 대한 그래디언트 정보를 활용해 큰 스텝을 안전하게 이동한다. 이 네 가지 제안을 가중합(α) 형태로 혼합함으로써 탐색 효율과 수렴 속도를 동시에 높인다.

실험에서는 두 가지 도메인, 즉 일반 물체(라팅 기반)와 인간 자세(팔레트 기반)에서 모델을 적용한다. 물체 복원에서는 사전 분할이 필요 없는 SIRFS와 비교했을 때 Z‑MAE와 N‑MSE에서 현저히 낮은 오류를 기록했으며, 시각적으로도 깊이 버퍼와 메쉬 정합도가 뛰어났다. 인간 자세 추정에서는 DPM 기반 검출기와 비교해 관절 위치 오차가 크게 감소했으며, 특히 가려짐이 심한 경우에도 안정적인 3D 포즈를 복원했다. 전체적으로 제안된 PCAD‑역그래픽스 프레임워크는 복잡한 3D 형태와 변형을 확률적으로 모델링하고, 효율적인 MCMC 추론을 통해 실제 이미지에서 의미 있는 3D 해석을 가능하게 한다는 점에서 큰 의의를 가진다.